摘要：本篇文章介紹PHP抓取網頁內容技術，利用PHPcURL擴展獲取網頁內容，還可以抓取網頁頭部，設置cookie，處理302跳轉。
一、cURL安裝
采用源碼安裝PHP時，需要在configure時添加配置項，
cdphp
./configure--with-curl
安裝完畢，可以利用php-m命令查看，是否已經支持cURL擴展。
php-m|grepcurl
也可以利用phpinfo查看，是否已經支持cURL擴展。
二、獲取網頁內容
cURL支持很多網絡協議，如HTTP、HTTPS、FTP等。普通網頁采用HTTP協議，一些安全性高的網頁采用HTTPS（HTTPS協議采用數據加密技術，通過公鑰技術交換密鑰，加密傳輸內容。因此采用HTTPS協議的網頁，在整個鏈路上傳輸的都是加密后的數據。例如Baidu采用HTTPS協議，你輸入的關鍵字被網絡傳輸協議加密，即使是運營商可以獲得全部數據，也無法獲得數據的內容。HTTPS協議也有缺點，就是加解密需要耗費計算時間，因此HTTPS網站會慢一些，而大多數網站都是采用HTTP協議）。HTTP協議中，定義了兩種方法GET和Z喎?http://www.it165.net/pro/pkqt/" target="_blank" html' target='_blank'>class="keylink">QT1NUoaNQT1NUt723qM2os6PTw9Pase21pczhvbujrMTcubvM4b27zsS8/rXItPPK/b7doaNHRVS3vbeo08PAtLvxyKHN+NKzyv2+3aOs0rK/ydLUzOG9u8nZwb/K/b7doaOxvs7E1vfSqr3pydzA+9PDR0VU0K3S6bvxyKHN+NKzyv2+3aOsvavAtNTZz+rPuL2yveJjVVJMJm5ic3A7UE9TVLy8yvWhozwvcD4KPHA+ztLDx8/Iv7TSu9Cp5K/AwMb3ysfU9cO0uaTX97XEo6y08r+qY2hyb21l5K/AwMb3o6xGMTK9+Mjrv6q3otXfxKPKvaOsvau5pL7fwLjH0Lu7tb1uZXR3b3Jro6zI58/CzbyjrMD708NjaHJvbWW5pL7fv8nS1LLpv7TDv7j2zsS8/rXEtKvK5NDFz6KhozwvcD4KPHA+PGltZyBzcmM9"http://www.it165.net/uploadfile/files/2015/0605/20150605193650340.png" alt="" width="842" height="577" />
瀏覽器要加載一個網頁，首先下載html文件，再下載js、css、圖片等資源文件再進行渲染加載。通常數據抓取只需要抓取html文件，下圖是chrome工具顯示下載http文件的內容。
三、PHP實現
<?php$ch = curl_init();curl_setopt($ch, CURLOPT_URL, "www.qq.com");curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);$html = curl_exec($ch);curl_close($ch);var_dump($html);?>
基本設置，返回網頁內容。
四、獲得HTTP頭部設置cookie
有些網站，會采用cookie技術。當采集程序沒帶有相關cookie時，很容易被網站認定是“機器人”，拒絕對其服務。通過chrome調試www.sogou.com，發現cookie是包含在網頁頭信息中的。因此，我們需要兩個步驟（1）HTTP頭信息中獲取cookie（2）發送請求時添加cookie。
頭信息包含設置cookie，
刷新網頁，查看頭信息，請求包含cookie信息
獲取cookie
<?php $url = "www.sogou.com"; $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_NOBODY, true); curl_setopt($ch, CURLOPT_HEADERFUNCTION, function ($ch, $str) use(&$setcookie) { // 第一個參數是curl資源，第二個參數是每一行獨立的header! list ($name, $value) = array_map('trim', explode(':', $str, 2)); $name = strtolower($name); if('set-cookie'==$name) { $setcookie[]=$value; } return strlen($str); }); curl_exec($ch); curl_close($ch); $cookie = array(); foreach($setcookie as $c) { $tmp = explode(";",$c); $cookie[] = $tmp[0]; } $cookiestr = "Cookie:".implode(";", $cookie); echo $cookiestr;?>返回結果
Cookie:ABTEST=0|1433425917|v17;IPLOC=CN1100;SUID=3295CB6F1220920A00000000557057FD
設置cookie
<?php$url = "www.sogou.com";$ch = curl_init();curl_setopt($ch, CURLOPT_URL, $url);curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);$headers[] = $cookie;curl_setopt($ci, CURLOPT_HTTPHEADER, $headers);$html = curl_exec($ch);curl_close($ch);var_dump($html);?>
五、抓取302跳轉
在Baidu中搜索關鍵詞，返回的結果鏈接是一個Baidu加密過的鏈接，通過二次跳轉才是真正的網址。（Baidu為了防止360抓取，把結果都加密了）。
我們可以抓取頭部中的location信息找到真實地址，
<?php $url = "https://www.baidu.com/link?url=b34APzBjz-cGLoxsG4-nviHmtVS0tCvEftS6ApCAsojT1a0h9oFFPprwK4JpNYgGaQE29QPUtRdPUeu3lIz2M7GW7dqLMi5ytlHLOVa3v_VY23dOoRiUSyV9zr_cI8Rg&wd=&eqid=c89cf372000002cc0000000255705961&ie=utf-8"; $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_NOBODY, true); curl_setopt($ch, CURLOPT_HEADERFUNCTION, function ($ch, $str) use(&$location) { // 第一個參數是curl資源，第二個參數是每一行獨立的header! list ($name, $value) = array_map('trim', explode(':', $str, 2)); $name = strtolower($name); if('location'==$name) { $location = $value; return 0; } return strlen($str); }); curl_exec($ch); curl_close($ch); echo $location;?>抓取302跳轉還有另外一種方式，利用ob重定向流的方式，并且設置允許curl跳轉到新地址。代碼如下
<?php function getContents($url){ $header = array("Referer: http://www.baidu.com/"); $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_TIMEOUT, 30); curl_setopt($ch, CURLOPT_HTTPHEADER,$header); curl_setopt($ch, CURLOPT_FOLLOWLOCATION,1); //能無法 抓取跳轉后的頁面 ob_start(); curl_exec($ch); $contents = ob_get_contents(); ob_end_clean(); curl_close($ch); return $contents; } $url = "https://www.baidu.com/link?url=b34APzBjz-cGLoxsG4-nviHmtVS0tCvEftS6ApCAsojT1a0h9oFFPprwK4JpNYgGaQE29QPUtRdPUeu3lIz2M7GW7dqLMi5ytlHLOVa3v_VY23dOoRiUSyV9zr_cI8Rg&wd=&eqid=c89cf372000002cc0000000255705961&ie=utf-8"; $contents = getContents($url); echo $contents; ?>PHP編程 鄭重聲明：本文版權歸原作者所有，轉載文章僅為傳播更多信息之目的，如作者信息標記有誤，請第一時間聯系我們修改或刪除，多謝。
新聞熱點
疑難解答
