其中用到了,區分是瀏覽器還是網絡爬蟲訪問的功能,主要實現代碼如下:
主要就是判斷$_SERVER['HttP_USEr_AGENT'];里面的內容有沒有爬蟲的標志
function isCrawler()
{
$userAgent = strtolower($_SERVER['HTTP_USER_AGENT']);
$spiders = array(
'Googlebot', // Google 爬蟲
'Baiduspider', // 百度爬蟲
'Yahoo! Slurp', // 雅虎爬蟲
'YodaoBot', // 有道爬蟲
'msnbot' // Bing爬蟲
// 更多爬蟲關鍵字
);
foreach($spiders as $spider)
{
$spider = strtolower($spider);
//查找有沒有出現過
if(strpos($userAgent, $spider) !== false){
return $spider;
}
}