創(chuàng)新互聯(lián)www.cdcxhl.cn八線動(dòng)態(tài)BGP香港云服務(wù)器提供商，新人活動(dòng)買多久送多久，劃算不套路！

創(chuàng)新互聯(lián)建站憑借專業(yè)的設(shè)計(jì)團(tuán)隊(duì)扎實(shí)的技術(shù)支持、優(yōu)質(zhì)高效的服務(wù)意識(shí)和豐厚的資源優(yōu)勢(shì)，提供專業(yè)的網(wǎng)站策劃、做網(wǎng)站、成都網(wǎng)站制作、網(wǎng)站優(yōu)化、軟件開(kāi)發(fā)、網(wǎng)站改版等服務(wù)，在成都10多年的網(wǎng)站建設(shè)設(shè)計(jì)經(jīng)驗(yàn)，為成都千余家中小型企業(yè)策劃設(shè)計(jì)了網(wǎng)站。

怎么辨別搜索引擎的爬蟲(chóng)？相信很多沒(méi)有經(jīng)驗(yàn)的人對(duì)此束手無(wú)策，為此本文總結(jié)了問(wèn)題出現(xiàn)的原因和解決方法，通過(guò)這篇文章希望你能解決這個(gè)問(wèn)題。

網(wǎng)站經(jīng)常會(huì)被各種爬蟲(chóng)光顧，有的是搜索引擎爬蟲(chóng)，有的不是，通常情況下這些爬蟲(chóng)都有UserAgent，而我們知道UserAgent是可以偽裝的，UserAgent的本質(zhì)是Http請(qǐng)求頭中的一個(gè)選項(xiàng)設(shè)置，通過(guò)編程的方式可以給請(qǐng)求設(shè)置任意的UserAgent。

所以通過(guò)UserAgent判斷請(qǐng)求的發(fā)起者是否是搜索引擎爬蟲(chóng)（蜘蛛）的方式是不靠譜的，更靠譜的方法是通過(guò)請(qǐng)求者的ip對(duì)應(yīng)的host主機(jī)名是否是搜索引擎自己家的host的方式來(lái)判斷。

要獲得ip的host，在windows下可以通過(guò)nslookup命令，在linux下可以通過(guò)host命令來(lái)獲得，例如：

這里我在windows下執(zhí)行了nslookup ip 的命令，從上圖可以看到這個(gè)ip的主機(jī)名是crawl-66-249-64-119.googlebot.com。 這說(shuō)明這個(gè)ip是一個(gè)google爬蟲(chóng)，google爬蟲(chóng)的域名都是 xxx.googlebot.com.

我們也可以通過(guò)python程序的方式來(lái)獲得ip的host信息，代碼如下：

import socket
def getHost(ip):
 try:
 result=socket.gethostbyaddr(ip)
 if result: return result[0], None
 except socket.herror,e:
 return None, e.message

上述代碼使用了socket模塊的gethostbyaddr的方法獲得ip地址的主機(jī)名。

常用蜘蛛的域名都和搜索引擎官網(wǎng)的域名相關(guān)，例如：

百度的蜘蛛通常是baidu.com或者baidu.jp的子域名

google爬蟲(chóng)通常是googlebot.com的子域名

微軟bing搜索引擎爬蟲(chóng)是search.msn.com的子域名

搜狗蜘蛛是crawl.sogou.com的子域名

基于以上原理，可以通過(guò)一個(gè)工具頁(yè)面提供判斷ip是否是真實(shí)搜索引擎的工具頁(yè)面，該頁(yè)面上提供了網(wǎng)頁(yè)判斷的工具和常見(jiàn)的google和bing的搜索引擎爬蟲(chóng)的ip地址。

附帶常見(jiàn)搜索引擎蜘蛛的IP段：

蜘蛛名稱     IP地址

Baiduspider        202.108.11.* 220.181.32.* 58.51.95.* 60.28.22.* 61.135.162.* 61.135.163.* 61.135.168.*

YodaoBot        202.108.7.215 202.108.7.220 202.108.7.221

Sogou web spider        219.234.81.* 220.181.61.*

Googlebot        203.208.60.*

Yahoo! Slurp        202.160.181.* 72.30.215.* 74.6.17.* 74.6.22.*

Yahoo ContentMatch Crawler        119.42.226.* 119.42.230.*

Sogou-Test-Spider        220.181.19.103 220.181.26.122

Twiceler        38.99.44.104 64.34.251.9

Yahoo! Slurp China        202.160.178.*

Sosospider         124.115.0.*

CollapsarWEB qihoobot        221.194.136.18

NaverBot        202.179.180.45

Sogou Orion spider        220.181.19.106 220.181.19.74

Sogou head spider        220.181.19.107

SurveyBot        216.145.5.42 64.246.165.160

Yanga WorldSearch Bot v        77.91.224.19 91.205.124.19

baiduspider-mobile-gate        220.181.5.34 61.135.166.31

discobot        208.96.54.70

ia_archiver         209.234.171.42

msnbot        65.55.104.209 65.55.209.86 65.55.209.96

sogou in spider        220.181.19.216

ps：https協(xié)議網(wǎng)頁(yè)能夠被搜索引擎收錄嗎

百度現(xiàn)在只能收錄少部分的https，大部分的https網(wǎng)頁(yè)無(wú)法收錄。

不過(guò)我查詢了google資料，Google能夠比較好地收錄https協(xié)議的網(wǎng)站。

所以如果你的網(wǎng)站是中文的，而且比較關(guān)注搜索引擎自然排名流量這塊，建議盡量不要將所有內(nèi)容都放到https中去加密去。

可考慮的方式是：

1、對(duì)于需要加密傳遞的數(shù)據(jù)，使用https，比如用戶登錄以及用戶登錄后的信息；

2、對(duì)于普通的新聞、圖片，建議使用http協(xié)議來(lái)傳輸；

3、網(wǎng)站首頁(yè)建議使用http協(xié)議的形式。

看完上述內(nèi)容，你們掌握怎么辨別搜索引擎的爬蟲(chóng)的方法了嗎？如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容，歡迎關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道，感謝各位的閱讀！

網(wǎng)站欄目：怎么辨別搜索引擎的爬蟲(chóng)-創(chuàng)新互聯(lián)
URL鏈接：http://sd-ha.com/article28/dpcgjp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供ChatGPT、關(guān)鍵詞優(yōu)化、App開(kāi)發(fā)、網(wǎng)站收錄、響應(yīng)式網(wǎng)站、網(wǎng)站營(yíng)銷

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)