- 相關(guān)推薦
PHP Curl多線(xiàn)程原理詳解
給各位介紹一下Curl多線(xiàn)程實(shí)例與原理。不對之處請指教
相信許多人對php手冊中語(yǔ)焉不詳的curl_multi一族的函數頭疼不已，它們文檔少，給的例子 更是簡(jiǎn)單的讓你無(wú)從借鑒，我也曾經(jīng)找了許多網(wǎng)頁(yè)，都沒(méi)見(jiàn)一個(gè)完整的應用例子。
curl_multi_add_handle
curl_multi_close
curl_multi_exec
curl_multi_getcontent
curl_multi_info_read
curl_multi_init
curl_multi_remove_handle
curl_multi_select
一般來(lái)說(shuō)，想到要用這些函數時(shí)，目的顯然應該是要同時(shí)請求多個(gè)url，而不是一個(gè)一個(gè)依次請求，否則不如自己循環(huán)去調curl_exec好了。
步驟總結如下：
第一步：調用curl_multi_init
第二步：循環(huán)調用curl_multi_add_handle
這一步需要注意的是，curl_multi_add_handle的第二個(gè)參數是由curl_init而來(lái)的子handle。
第三步：持續調用curl_multi_exec
第四步：根據需要循環(huán)調用curl_multi_getcontent獲取結果
第五步：調用curl_multi_remove_handle，并為每個(gè)字handle調用curl_close
第六步：調用curl_multi_close
這里有PHP手冊上的例子：
復制代碼 代碼如下:
<?php
// 創(chuàng )建一對cURL資源
$ch1 = curl_init();
$ch2 = curl_init();
// 設置URL和相應的選項
curl_setopt($ch1, CURLOPT_URL, "/");
curl_setopt($ch1, CURLOPT_HEADER, 0);
curl_setopt($ch2, CURLOPT_URL, "http://www.php.net/");
curl_setopt($ch2, CURLOPT_HEADER, 0);
// 創(chuàng )建批處理cURL句柄
$mh = curl_multi_init();
// 增加2個(gè)句柄
curl_multi_add_handle($mh,$ch1);
curl_multi_add_handle($mh,$ch2);
$active = null;
// 執行批處理句柄
do {
$mrc = curl_multi_exec($mh, $active);
} while ($mrc == CURLM_CALL_MULTI_PERFORM);
while ($active && $mrc == CURLM_OK) {
if (curl_multi_select($mh) != -1) {
do {
$mrc = curl_multi_exec($mh, $active);
} while ($mrc == CURLM_CALL_MULTI_PERFORM);
}
}
// 關(guān)閉全部句柄
curl_multi_remove_handle($mh, $ch1);
curl_multi_remove_handle($mh, $ch2);
curl_multi_close($mh);
?>
整個(gè)使用過(guò)程差不多就是這樣，但是，這個(gè)簡(jiǎn)單代碼有個(gè)致命弱點(diǎn)，就是在do循環(huán)的那段，在整個(gè)url請求期間是個(gè)死循環(huán)，它會(huì )輕易導致CPU占用100%。
現在我們來(lái)改進(jìn)它，這里要用到一個(gè)幾乎沒(méi)有任何文檔的函數curl_multi_select了，雖然C的curl庫對select有說(shuō)明，但是，php里的接口和用法確與C中有不同。
把上面do的那段改成下面這樣：
復制代碼 代碼如下:
do {
$mrc = curl_multi_exec($mh,$active);
} while ($mrc == CURLM_CALL_MULTI_PERFORM);
while ($active and $mrc == CURLM_OK) {
if (curl_multi_select($mh) != -1) {
do {
$mrc = curl_multi_exec($mh, $active);
} while ($mrc == CURLM_CALL_MULTI_PERFORM);
}
}
因為$active要等全部url數據接受完畢才變成false，所以這里用到了curl_multi_exec的返回值判斷是否還有數據，當有數據的時(shí)候就不停調用curl_multi_exec，暫時(shí)沒(méi)有數據就進(jìn)入select階段，新數據一來(lái)就可以被喚醒繼續執行。這里的好處就是CPU的無(wú)謂消耗沒(méi)有了。
另外：還有一些細節的地方可能有時(shí)候要遇到：
控制每一個(gè)請求的超時(shí)時(shí)間，在curl_multi_add_handle之前通過(guò)curl_setopt去做：
curl_setopt($ch, CURLOPT_TIMEOUT, $timeout);
判斷是否超時(shí)了或者其他錯誤，在curl_multi_getcontent之前用：curl_error($conn[$i]);
本類(lèi)的特點(diǎn)：
運行非常穩定。
設置一個(gè)并發(fā)就會(huì )始終以這個(gè)并發(fā)數進(jìn)行工作，即使通過(guò)回調函數添加任務(wù)也不影響。
CPU占用極低，絕大部分CPU消耗在用戶(hù)的回調函數上。
內存利用率高，任務(wù)數量較多（15W個(gè)任務(wù)占用內存會(huì )超過(guò)256M）可以使用回調函數添加任務(wù)，個(gè)數自定。
能夠最大限度的占用帶寬。
鏈式任務(wù)，比如一個(gè)任務(wù)需要從多個(gè)不同的地址采集數據，可以通過(guò)回調一氣呵成。
能夠對CURL錯誤進(jìn)行多次嘗試，次數自定（大并發(fā)一開(kāi)始容易產(chǎn)生CURL錯誤，網(wǎng)絡(luò )狀況或對方服務(wù)器穩定性也有可能產(chǎn)生CURL錯誤）。
回調函數相當靈活，可以多種類(lèi)型任務(wù)同時(shí)進(jìn)行（比如下載文件，抓取網(wǎng)頁(yè)，分析404可以在一個(gè)PHP進(jìn)程中同時(shí)進(jìn)行）。
可以非常容易的定制任務(wù)類(lèi)型，比如檢查404，獲取redirect的最后url等。
可以設置緩存，挑戰產(chǎn)品節操。
不足：
不能充分利用多核CPU（可以開(kāi)多個(gè)進(jìn)程解決，需要自己處理任務(wù)分割等邏輯）。
最大并發(fā)500（或512？），經(jīng)過(guò)測試是CURL 內部限制，超過(guò)最大并發(fā)會(huì )導致總是返回失敗。
目前沒(méi)有斷點(diǎn)續傳功能。
目前任務(wù)是原子性的，不能對一個(gè)大文件分為幾部分分別開(kāi)線(xiàn)程下載。
【PHP Curl多線(xiàn)程原理詳解】相關(guān)文章：
PHP中curl的使用實(shí)例07-31
PHP的cURL庫有效地抓網(wǎng)頁(yè)的技巧08-08
php多進(jìn)程編程詳解201706-04
探討PHP函數的實(shí)現原理及性能07-07
sun認證考試經(jīng)驗：多線(xiàn)程的幾種實(shí)現方法詳解01-22
關(guān)于深入PHP內存相關(guān)的功能特性詳解09-02
關(guān)于php堆排序實(shí)現原理與應用方法10-09
ATX電源工作原理以及檢修詳解09-13