[导读] 因为本人公司正处于P2P的行业，分析行业数据，对平台的运营决策有着很大的作用，因此需要爬网贷之家的相关数据。
1、分析
通过右键查看页面源代码发现页面结构为表格布局，因此设想可以分为四个步骤来采集数据：
1、使用爬虫将页面抓取下来；
2、对页面数据进行解析；
3、入库（mysql）；
4、写个定时服务每天定时抓取。
因为公司网站使用PHP,最近也学习了一点，curl非常适合用来爬去网页，决定用PHP程序进行抓取。
2、抓取页面
网贷之家有一个数据的二级域名，展示所有接入的P2P公司的各种成交数据，输入日期可以查询对应日期的数据(http://shuju.wangdaizhijia.com/indexs-0-0-0-400-0-0.html?startTime=2015-04-04&endTime=2015-04-04),分析url发现只要改变后面的日期就可以分别的抓取各个日期下的数据，分析完毕，找一个url开始抓取；有一个小插曲，刚开始抓取的时候，返回的页面信息都是404.html，最后分析发现网站对非浏览器的请求进行了屏蔽，直接跳转404。后台加绿色代码的部分，成功抓取数据。
function crawl($url){ $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_HEADER, false); curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; .NET CLR 1.1.4322)');
curl_setopt($curl, CURLOPT_POST, 1); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); $result=curl_exec($ch); curl_close($ch); return $result; }
3、解析数据
查看页面源代码发现，第一行为title去掉，最后两列为平台的连接和关注，均过滤掉。第一列的id需要根据下列的连接来截取，中间的所有数据会有汉子的单位和一些特殊字符，使用preg_replace进行替换，最后按照网贷之家平台的数据格式进行拼接入库的SQL，返回done。
function analyze($dom,$satTime){ $html = new simple_html_dom(); $sql= "insert into XXX_data (XXPlatId,platName,averageMonth,dayTotal,averageRate,investNumber,averageInvestMoney,averageBorrowTime,borrowNumer,borrowBidNumber,averageBorrowMoney,firstTenInvestRate,firstTenBorrowRate,bidEndTime,registerTime,registerMoney,leverageFund,invest30total,repay60total,repayTotal,statisticsTime,excuteTime) values "; $html->load($dom); $istitle=0; foreach($html->find('tr') as $tr){ $istitle=$istitle+1; if($istitle==1){ continue; } $sql.="("; $count=0; foreach($tr->find('td') as $element){ $count=$count+1; if($count==1){ $href=$element->next_sibling()->find('a', 0)->href; $href=strstr($href, '.', TRUE); $href=strstr($href,'-'); $sql.="'".substr($href,1)."',"; }elseif($count==2){ $val=$element->find('a', 0)->innertext; $sql.="'".$val."',"; }elseif($count<21){ $patterns = array(); $patterns[0] = '/([\x80-\xff]*)/i'; $patterns[1] = '/[%*]/'; $val=preg_replace($patterns,'',$element->innertext); $sql.="'".$val."',"; } } $sql.="'".$satTime."','".date('Y-m-d H:i:s')."'),"; } $sql = substr($sql,0,strlen($sql)-1); $sql = strip_tags($sql); return $sql; } 4、入库
通过网上的查找学习，发现PHP操作mysql比起java来说更简单，几句代码搞定.
function save($sql){ $con = mysql_connect("192.168.0.1","root","root"); if (!$con){ die('Could not connect: ' . mysql_error()); } mysql_select_db("xx_data", $con); mysql_query("set names utf8"); mysql_query($sql); mysql_close($con); } 5、批量爬取
通过分析数据的查询条件，每次的查询都是根据url后缀的日期来查询当日交易数据， ，因为只需要遍历历史日期来拼接URl就用来爬取历史的所有交易。
function execute(){ $starttime="2014-04-15"; $endtime="2015-04-15"; for($start = strtotime($starttime); $start <= strtotime($endtime);$start += 86400){ $date=date('Y-m-d',$start); $url="http://shuju.XX.com/indexs.html?startTime=".$date."&endTime=".$date; //第一步 抓取 $dom=crawl($url); //第二步 解析 $sql=analyze($dom,$date); //第三步 入库 save($sql); } echo "execute end"; } execute(); 6、设置定时服务
设置定时任务来每天固定时间来抓取最新的数据，以免每次手工来执行，php也有自己的定时任务，但是网上看了下实现起来太复杂，因此利用linux的crontab来实现，linux下面输入crontab –e 进入编辑状态，添加一条定时利用curl来调用，至此爬虫功能完毕。
30 09 * * * curl http://192.168.0.1/crawl.php
此程序仅供学习交流，如果有需要完整源码的朋友可以单独联系我。