|
|
記得第一次接觸CURL的時(shí)候是要實(shí)現(xiàn)完成從郵箱用戶列表的抓取。當(dāng)時(shí)為了趕進(jìn)度沒有細(xì)細(xì)研究只是網(wǎng)上找了一些資料實(shí)現(xiàn)了功能。現(xiàn)在把當(dāng)初的代碼整理一下功能依舊能用
復(fù)制代碼 代碼如下:
<?php
error_reporting ( 0 );
set_time_limit ( 0 );
header ( "Content-Type: text/html; charset=GB2312" );
//郵箱用戶名密碼
$user = 'username';
$pass = 'password';
//創(chuàng)建一個(gè)文件用于存放cookie信息
define ( "COOKIEJAR", tempnam ( ini_get ( "upload_tmp_dir" ), "cookie" ) );
$url = 'http://reg.163.com/logins.jsp?type=1&url=http://entry.mail.163.com/coremail/fcg/ntesdoor2?lightweight%3D1%26verifycookie%3D1%26language%3D-1%26style%3D-1';
$refer = 'http://mail.163.com';
$fields_post = array ('username' => $user, 'password' => $pass, 'verifycookie' => 1, 'style' => - 1, 'product' => 'mail163', 'selType' => - 1, 'secure' => 'on' );
$fields_string = http_build_query ( $fields_post, '&' );
$headers_login = array ('User-Agent' => 'Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/2008052906 Firefox/3.0', 'Referer' => 'http://www.163.com' );
//登錄
$ch = curl_init ( $url );
curl_setopt ( $ch, CURLOPT_RETURNTRANSFER, true );
curl_setopt ( $ch, CURLOPT_HEADER, true );
curl_setopt ( $ch, CURLOPT_CONNECTTIMEOUT, 120 );
curl_setopt ( $ch, CURLOPT_POST, true );
curl_setopt ( $ch, CURLOPT_REFERER, $refer );
curl_setopt ( $ch, CURLOPT_COOKIESESSION, true );
curl_setopt ( $ch, CURLOPT_COOKIEJAR, COOKIEJAR );
curl_setopt ( $ch, CURLOPT_HTTPHEADER, $headers_login );
curl_setopt ( $ch, CURLOPT_POST, count ( $fields ) );
curl_setopt ( $ch, CURLOPT_POSTFIELDS, $fields_string );
$result = curl_exec ( $ch );
curl_close ( $ch );
//跳轉(zhuǎn)
$url = 'http://entry.mail.163.com/coremail/fcg/ntesdoor2?lightweight=1&verifycookie=1&language=-1&style=-1&username=loki_wuxi';
$headers = array ('User-Agent' => 'Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/2008052906 Firefox/3.0' );
$ch = curl_init ( $url );
curl_setopt ( $ch, CURLOPT_RETURNTRANSFER, true );
curl_setopt ( $ch, CURLOPT_HEADER, true );
curl_setopt ( $ch, CURLOPT_CONNECTTIMEOUT, 120 );
curl_setopt ( $ch, CURLOPT_POST, true );
curl_setopt ( $ch, CURLOPT_HTTPHEADER, $headers );
curl_setopt ( $ch, CURLOPT_COOKIEFILE, COOKIEJAR );
curl_setopt ( $ch, CURLOPT_COOKIEJAR, COOKIEJAR );
$result = curl_exec ( $ch );
curl_close ( $ch );
//取得sid
preg_match ( '/sid=[^/"].*/', $result, $location );
$sid = substr ( $location [0], 4, - 1 );
//通訊錄地址
$url = 'http://g4a30.mail.163.com/jy3/address/addrlist.jsp?sid=' . $sid . '&gid=all';
$headers = array ('User-Agent' => 'Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/2008052906 Firefox/3.0' );
$ch = curl_init ( $url );
curl_setopt ( $ch, CURLOPT_RETURNTRANSFER, true );
curl_setopt ( $ch, CURLOPT_HEADER, true );
curl_setopt ( $ch, CURLOPT_CONNECTTIMEOUT, 120 );
curl_setopt ( $ch, CURLOPT_POST, true );
curl_setopt ( $ch, CURLOPT_HTTPHEADER, $headers );
curl_setopt ( $ch, CURLOPT_COOKIEFILE, COOKIEJAR );
curl_setopt ( $ch, CURLOPT_COOKIEJAR, COOKIEJAR );
$result = curl_exec ( $ch );
curl_close ( $ch );
unlink ( COOKIEJAR );
//開始抓取內(nèi)容
preg_match_all ( '/<td class="Ibx_Td_addrName"><a[^>]*>(.*?)<//a><//td><td class="Ibx_Td_addrEmail"><a[^>]*>(.*?)<//a><//td>/i', $result, $infos, PREG_SET_ORDER );
//1：姓名2：郵箱
print_r ( $infos );
?>
建立一個(gè)php文件復(fù)制以上代碼保存后效果立竿見影，記得更改郵箱賬戶和密碼，賬戶不需要@后綴。CURL初體驗(yàn)，如何，還不錯(cuò)吧。
后來在CSDN上又看到別人發(fā)帖問一個(gè)獲取快遞查詢的問題，他想把一些大的快遞公司查詢業(yè)務(wù)做在一個(gè)頁面中，的確是個(gè)很不錯(cuò)的實(shí)用小工具，但是因?yàn)榭爝f查詢有驗(yàn)證碼，不由的又讓我想起了CURL利器。后來幫帖主實(shí)現(xiàn)功能，思路很簡單，先用CURL模擬抓取驗(yàn)證碼，然后顯示到用戶提交頁面中，同時(shí)保存驗(yàn)證碼的COOKIE等用戶查詢一起提交就保證了COOKIE的同步。
源代碼如下：
-getEms.html
復(fù)制代碼 代碼如下:
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=gb2312">
<title>EMS快遞查詢</title>
</head>
<body>
<?php
fclose(fopen('cookie.txt','w')); //文件 cookie.txt 用于存放取得的cookie
$cookiejar = realpath('cookie.txt');
$fp = fopen("example_homepage.txt", "w"); //文件 example_homepage.txt 用于存放取得的頁面內(nèi)容
$ch = curl_init("http://www.ems.com.cn/servlet/ImageCaptchaServlet");
curl_setopt($ch, CURLOPT_FILE, $fp);
curl_setopt($ch, CURLOPT_COOKIESESSION, 1);
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookiejar);
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookiejar);
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_exec($ch);
curl_close($ch);
fclose($fp);
//readfile($cookiejar); //查看取到的 cookie
//readfile("example_homepage.jpg"); //查看取到的圖片
?>
<form action="getems.php" method="post" name="form1">
快遞號：<input name="mailNum" type="text" value="EA739701017CS" />(13位 首尾2位都是字母)
<input name="code" type="text" value="" />
<?php echo "<img src='example_homepage.txt'>";?>
<input type="submit" value="提交">
</form>
</body>
</html>
-getems.php
復(fù)制代碼 代碼如下:
<?php
if($_POST){
//使用先前驗(yàn)證碼的cookie文件
$cookiejar = realpath('cookie.txt');
//獲取myEmsbarCode號 和驗(yàn)證碼變量名
$ch = curl_init("http://www.ems.com.cn");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookiejar);
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookiejar);
$result = curl_exec($ch);
curl_close($ch);
preg_match("/<input type=/"hidden/" name=/"myEmsbarCode/" value=/"(.*)/"http://>/isU",$result,$myEmsbarCode);
preg_match("/<//span><input name=/"(.*)/" type=/"text/"/isU",$result,$codename);
$parm = array($codename[1]=>$_POST['code'],
mailNum =>$_POST['mailNum'],
myEmsbarCode=>$myEmsbarCode[1],
reqCode=>'browseBASE'
);
$ch = curl_init("http://www.ems.com.cn/qcgzOutQueryAction.do");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookiejar);
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookiejar);
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_REFERER, "http://www.ems.com.cn");
curl_setopt($ch, CURLOPT_POSTFIELDS, http_build_query($parm));
$_source = curl_exec($ch);
curl_close($ch);
//搞定
var_dump($_source);
exit;
}
?>
對于CURL庫的參數(shù)詳解，網(wǎng)上有很多我直接收錄了
函數(shù)列表CURL庫一共有17個(gè)函數(shù)：
curl_close：關(guān)閉CURL會話
curl_copy_handle：復(fù)制一個(gè)CURL會話句柄,同時(shí)3復(fù)制其所有參數(shù)
curl_errno：返回最后一個(gè)錯(cuò)誤碼
curl_error：返回一個(gè)字符串，用以描述當(dāng)前會話的最后一個(gè)錯(cuò)誤
curl_exec：執(zhí)行當(dāng)前會話
curl_getinfo：獲取特定信息
curl_init：初始化CURL會話
curl_multi_add_handle：在一個(gè)多連接會話中添加一個(gè)句柄
curl_multi_close：關(guān)閉一個(gè)多句柄CRUL會話
curl_multi_exec：執(zhí)行一個(gè)多句柄CURL會話
curl_multi_getcontent：返回一個(gè)句柄執(zhí)行后的內(nèi)容，如果設(shè)置了CURLOPT_RETURNTRANSFER
curl_multi_info_read：獲取當(dāng)前所有連接的信息
curl_multi_init：初始化一個(gè)多句柄會話
curl_multi_remove_handle：從一個(gè)多句柄會話中刪除一個(gè)句柄
curl_multi_select：獲取所有綁定的套接字
curl_setopt：設(shè)置CURL傳輸選項(xiàng)
curl_version：獲取CURL版本
常用設(shè)置選項(xiàng)布爾值選項(xiàng)
CURLOPT_AUTOREFERER：當(dāng)返回的信息頭含有轉(zhuǎn)向信息時(shí)，自動設(shè)置前向連接
CURLOPT_BINARYTRANSFER：TRUEtoreturntherawoutputwhenCURLOPT_RETURNTRANSFERisused.
CURLOPT_COOKIESESSION：標(biāo)志為新的cookie會話，忽略之前設(shè)置的cookie會話
CURLOPT_CRLF：將Unix系統(tǒng)的換行符轉(zhuǎn)換為Dos換行符
CURLOPT_DNS_USE_GLOBAL_CACHE：使用全局的DNS緩存
CURLOPT_FAILONERROR：忽略返回錯(cuò)誤
CURLOPT_FILETIME：獲取請求文檔的修改日期，該日期可以用curl_getinfo()獲取。
CURLOPT_FOLLOWLOCATION：緊隨服務(wù)器返回的所有重定向信息
CURLOPT_FORBID_REUSE：當(dāng)進(jìn)程處理完畢后強(qiáng)制關(guān)閉會話，不再緩存供重用
CURLOPT_FRESH_CONNECT：強(qiáng)制建立一個(gè)新的會話，而不是重用緩存的會話
CURLOPT_HEADER：在返回的輸出中包含響應(yīng)頭信息
CURLOPT_HTTPGET：設(shè)置HTTP請求方式為GET
CURLOPT_HTTPPROXYTUNNEL：經(jīng)由一個(gè)HTTP代理建立連接
CURLOPT_NOBODY：返回的輸出中不包含文檔信息.
CURLOPT_NOPROGRESS：禁止進(jìn)程級別傳輸，php自動設(shè)為真
CURLOPT_NOSIGNAL：忽略所有發(fā)往php的信息
CURLOPT_POST：設(shè)置POST方式提交數(shù)據(jù)，POST格式為application/x-www-form-urlencoded
CURLOPT_PUTTRUE：設(shè)置PUT方式上傳文件，同時(shí)設(shè)置CURLOPT_INFILE和CURLOPT_INFILESIZE
CURLOPT_RETURNTRANSFER：返回字符串，而不是調(diào)用curl_exec()后直接輸出
CURLOPT_SSL_VERIFYPEER：SSL驗(yàn)證開啟
CURLOPT_UNRESTRICTED_AUTH：一直鏈接后面附加用戶名和密碼，同時(shí)設(shè)置CURLOPT_FOLLOWLOCATION
CURLOPT_UPLOAD：準(zhǔn)備上傳整數(shù)值選項(xiàng)
CURLOPT_BUFFERSIZE：緩存大小
CURLOPT_CONNECTTIMEOUT：連接時(shí)間設(shè)置，默認(rèn)0為無限制
CURLOPT_DNS_CACHE_TIMEOUT：內(nèi)存中保存DNS信息的時(shí)間，默認(rèn)2分鐘
CURLOPT_INFILESIZE：上傳至遠(yuǎn)程站點(diǎn)的文件尺寸
CURLOPT_LOW_SPEED_LIMIT：傳輸最低速度限制andabort.
CURLOPT_LOW_SPEED_TIME：傳輸時(shí)間限制
CURLOPT_MAXCONNECTS：最大持久連接數(shù)
CURLOPT_MAXREDIRS：最大轉(zhuǎn)向數(shù)
CURLOPT_PORT：連接端口
CURLOPT_PROXYAUTH：＊＊＊＊＊驗(yàn)證方式
CURLOPT_PROXYPORT：＊＊＊＊＊端口
CURLOPT_PROXYTYPE：＊＊＊＊＊類型
CURLOPT_TIMEOUT：CURL函數(shù)的最大執(zhí)行時(shí)間字符串選項(xiàng)
CURLOPT_COOKIE：HTTP頭中set-cookie中的cookie信息
CURLOPT_COOKIEFILE：包含cookie信息的文件，cookie文件的格式可以是NETscape格式,或者只是HTTP頭的格式
CURLOPT_COOKIEJAR：連接結(jié)束后保存cookie信息的文件
CURLOPT_CUSTOMREQUEST：自定義請求頭，使用相對地址
CURLOPT_ENCODING：HTTP請求頭中Accept-Encoding的值
CURLOPT_POSTFIELDS：POST格式提交的數(shù)據(jù)內(nèi)容
CURLOPT_PROXY：代理通道
CURLOPT_PROXYUSERPWD：代理認(rèn)證用戶名和密碼
CURLOPT_RANGE：返回?cái)?shù)據(jù)的范圍,以字節(jié)記
CURLOPT_REFERER：前向鏈接
CURLOPT_URL：要連接的URL地址，可以在curl_init()中設(shè)置
CURLOPT_USERAGENT：HTTP頭中User-Agent的值
CURLOPT_USERPWD：連接種使用的驗(yàn)證信息數(shù)組選項(xiàng)
CURLOPT_HTTP200ALIASES：200響應(yīng)碼數(shù)組，數(shù)組中的響應(yīng)嗎被認(rèn)為是正確的響應(yīng)
CURLOPT_HTTPHEADER：自定義請求頭信息只能是流句柄的選項(xiàng)：
CURLOPT_FILE：傳輸要寫入的晚間句柄，默認(rèn)是標(biāo)準(zhǔn)輸出
CURLOPT_INFILE：傳輸要讀取的文件句柄
CURLOPT_STDERR：作為標(biāo)準(zhǔn)錯(cuò)誤輸出的一個(gè)替換選項(xiàng)
CURLOPT_WRITEHEADER：傳輸頭信息要寫入的文件回調(diào)函數(shù)選項(xiàng)
CURLOPT_HEADERFUNCTION：擁有兩個(gè)參數(shù)的回調(diào)函數(shù)，第一個(gè)是參數(shù)是會話句柄，第二是HTTP響應(yīng)頭信息的字符串。使用此回調(diào)函數(shù)，將自行處理響應(yīng)頭信息。響應(yīng)頭信息按行返回。設(shè)置返回值為字符串長度。
CURLOPT_READFUNCTION：擁有兩個(gè)參數(shù)的回調(diào)函數(shù)，第一個(gè)是參數(shù)是會話句柄，第二是HTTP響應(yīng)頭信息的字符串。使用此函數(shù)，將自行處理返回的數(shù)據(jù)。返回值為數(shù)據(jù)尺寸。
CURLOPT_WRITEFUNCTION：擁有兩個(gè)參數(shù)的回調(diào)函數(shù)，第一個(gè)是參數(shù)是會話句柄，第二是HTTP響應(yīng)頭信息的字符串。使用此回調(diào)函數(shù)，將自行處理響應(yīng)頭信息。響應(yīng)頭信息是整個(gè)字符串。設(shè)置返回值為字符串長度。
其他一些CURL的例子 （摘自網(wǎng)絡(luò)）
復(fù)制代碼 代碼如下:
/*
*判斷一個(gè)url是否為有效鏈接
*/
function isRealUrl($url){
$ch = curl_init();
$options = array(
CURLOPT_URL => $url,
CURLOPT_HEADER => true,
CURLOPT_RETURNTRANSFER => true,
CURLOPT_NOBODY => true
);
curl_setopt_array($ch, $options);
curl_exec($ch);
if(!curl_errno($ch)){
return 200==curl_getinfo($ch,CURLINFO_HTTP_CODE)?true:false;
}
curl_close($ch);
}
$url = 'http://testpic1.tomoimg.cn/240x180/394/855/517932781/200901/12312215602409.jpg';
if(isRealUrl($url)){echo 'yes';}else{echo 'no';}
/異步請求的例子：
$userid = 517932781;
$imageid = 1520;
$albumid = 2637;
$tags = 'aa';
extract($_POST);
$url = 'http://'.$_SERVER['HTTP_HOST'].'/ajax/image.php';
$fields = array(
'userid' => $userid,
'imageid' => $imageid,
'albumid' => $albumid,
'tags' => $tags,
'optype' => 'del'
);
$ch = curl_init() ;
curl_setopt($ch, CURLOPT_URL,$url) ;
curl_setopt($ch, CURLOPT_POST,true) ;
curl_setopt($ch, CURLOPT_POSTFIELDS,$fields) ;
$result = curl_exec($ch) ;
curl_close($ch) ;
//上傳文件
$ch = curl_init();
curl_setopt($ch,CURLOPT_URL,'http://lh.tom.com/deal/import.php');
$fields = array(
'tname' => '道德經(jīng)',
'country' => 1,
'author' => '老子',
'tags' => '道德經(jīng)',
'desc' => '道可道，非常道。名可名，非常名。無名天地之始。有名萬物之母。故常無欲以觀其妙。常有欲以觀其徼。此兩者同出而異名，同謂之玄。玄之又玄，眾妙之門。',
'volume' => 2,
'cover' => '@'.realpath('/data/lianhuanhua/deal/1.jpg')
);
curl_setopt($ch, CURLOPT_POST, true) ;
curl_setopt($ch, CURLOPT_POSTFIELDS, $fields) ;
curl_setopt($ch, CURLOPT_RETURNTRANSFER, false);
$result = curl_exec($ch);
curl_close($ch);
//多文件上傳
$ch = curl_init();
curl_setopt($ch,CURLOPT_URL,'http://lh.tom.com/deal/addpic.php');
$j = 0;
$fields = array(
'vid' => 103,
'upfile['.$j++.']' => '@'.realpath('/data/lianhuanhua/deal/1.jpg'),
'upfile['.$j++.']' => '@'.realpath('/data/lianhuanhua/deal/2.jpg')
);
curl_setopt($ch, CURLOPT_POST, true) ;
curl_setopt($ch, CURLOPT_POSTFIELDS, $fields) ;
curl_setopt($ch, CURLOPT_RETURNTRANSFER, false);
$result = curl_exec($ch);
curl_close($ch);
當(dāng)你掌握了php curl庫你就能做很多你想做的事情了，呵呵，前不久玩開心網(wǎng)的X世界，戰(zhàn)斗實(shí)在繁瑣，我直接寫了個(gè)戰(zhàn)斗助手非常好用，本代碼就不開源了 ：）掌握原理一樣開源實(shí)現(xiàn)。
網(wǎng)站計(jì)數(shù)器
php技術(shù)：基于PHP CURL獲取郵箱地址的詳解，轉(zhuǎn)載需保留來源！
鄭重聲明：本文版權(quán)歸原作者所有，轉(zhuǎn)載文章僅為傳播更多信息之目的，如作者信息標(biāo)記有誤，請第一時(shí)間聯(lián)系我們修改或刪除，多謝。
