怎樣用python爬新浪微博大V所有數(shù)據(jù)

先上結(jié)論，通過(guò)公開(kāi)的api如果想爬到某大v的所有數(shù)據(jù)，需要滿足以下兩個(gè)條件：

創(chuàng)新互聯(lián)建站是專業(yè)的豐寧網(wǎng)站建設(shè)公司，豐寧接單;提供網(wǎng)站設(shè)計(jì)制作、網(wǎng)站設(shè)計(jì),網(wǎng)頁(yè)設(shè)計(jì),網(wǎng)站設(shè)計(jì),建網(wǎng)站,PHP網(wǎng)站建設(shè)等專業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進(jìn)行豐寧網(wǎng)站開(kāi)發(fā)網(wǎng)頁(yè)制作和功能擴(kuò)展;專業(yè)做搜索引擎喜愛(ài)的網(wǎng)站,專業(yè)的做網(wǎng)站團(tuán)隊(duì),希望更多企業(yè)前來(lái)合作!

1、在你的爬蟲(chóng)開(kāi)始運(yùn)行時(shí)，該大v的所有微博發(fā)布量沒(méi)有超過(guò)回溯查詢的上限，新浪是2000，twitter是3200。

2、爬蟲(chóng)程序必須不間斷運(yùn)行。

新浪微博的api基本完全照搬t(yī)witter，其中接口的參數(shù)特性與底層的NoSQL密不可分，建議先看點(diǎn)Nosql數(shù)據(jù)庫(kù)的設(shè)計(jì)理念有助于更好的理解api設(shè)計(jì)。

一般來(lái)說(shuō)，如果決定爬某個(gè)大v，第一步先試獲取該用戶的基本信息，中間會(huì)包含一條最新的status，記下其中的id號(hào)作為基準(zhǔn)，命名為baseId。

接口中最重要的兩個(gè)參數(shù)：

since_id：返回ID比since_id大的微博（即比since_id時(shí)間晚的微博），默認(rèn)為0。

max_id：返回ID小于或等于max_id的微博，默認(rèn)為0。

出于各種原因，獲取statuses的接口，固定為按id降序排列（scan_index_forward=false），即最新的statuses返回在前。假設(shè)該微博第一天上線，就一個(gè)用戶，發(fā)了一百條，id是1到100。而你在該用戶發(fā)了第50條的時(shí)候開(kāi)始運(yùn)行的爬蟲(chóng)，即baseId=50。

假設(shè)按每次獲取10條歷史數(shù)據(jù)遞歸，先將max_id設(shè)為baseId，獲取該用戶id為41－50的微博，再將max_id設(shè)為41重復(fù)循環(huán)，直到返回微博數(shù)量為1或0。這步?jīng)]有問(wèn)題。

獲取用戶最新的statuses就有些蛋疼了，since_id＝50，同樣獲取10條數(shù)據(jù)，返回的并不是id值為51－60的數(shù)據(jù)，而是100-91的數(shù)據(jù)。簡(jiǎn)單說(shuō)就是你沒(méi)法從since_id逐步更新到用戶當(dāng)前status，而是得一口氣從用戶當(dāng)前status更新到上次爬蟲(chóng)運(yùn)行時(shí)得到的最后一條status。假設(shè)你的爬蟲(chóng)一個(gè)月才運(yùn)行一次，該用戶在這期間發(fā)了2300條微博，根據(jù)限制你只能更新2000條，這其中最老的300條在你的系統(tǒng)內(nèi)就會(huì)出現(xiàn)“斷檔”。

最后一條，以上只針對(duì)公開(kāi)的api，stackoverflow上twitter

API可以申請(qǐng)權(quán)限突破數(shù)量限制和更改排序機(jī)制，微博也應(yīng)該有類似機(jī)制。

易語(yǔ)言怎么獲取微博熱搜

通過(guò)爬蟲(chóng)技術(shù)就可以獲取到微博熱搜的數(shù)據(jù)了。

1、在新建的windos窗口程序中畫(huà)：兩個(gè)編輯框、一個(gè)按鈕。再添加模塊如圖中三步！我們來(lái)實(shí)現(xiàn)，在一個(gè)編輯框中輸入網(wǎng)址后，點(diǎn)擊按鈕，然后取到指定內(nèi)容到編輯框2中。2、比如我們來(lái)取百度某貼吧一個(gè)帖子內(nèi)的內(nèi)容！我們?cè)谠擁?yè)面上右鍵----查看網(wǎng)頁(yè)源碼（或查看源文件）。3、在打開(kāi)的源文件內(nèi)容中按CTRL+F組合鍵查找“你想要的數(shù)據(jù)”，我們只要一個(gè)開(kāi)文中一部分就行了！找到對(duì)應(yīng)的文字后，我們找到和網(wǎng)頁(yè)中完全對(duì)應(yīng)的那部分代碼。PS：可能會(huì)出現(xiàn)幾個(gè)被找到的內(nèi)容，但是只要找到你需要取的那段全部對(duì)應(yīng)部分就行。4、復(fù)制正文中的前面的部分代碼，不要復(fù)制太多的內(nèi)容，待會(huì)我們用正文前的內(nèi)容找到中間的內(nèi)容。然后在易語(yǔ)言中新建一個(gè)文本常量，把復(fù)制到的內(nèi)容粘貼到“常量值”里面去。5、然后我們?nèi)?fù)制正文后面的一小段代碼，同樣新建一個(gè)文本常量，然后粘貼到常量值里面去。6、此時(shí)我們回到編程程序中，點(diǎn)擊按鈕，在生成的“_按鈕1_被單擊”子程序下面新建一個(gè)文本型變量“得到的內(nèi)容”，然后輸入以下代碼：得到的內(nèi)容 ＝ 網(wǎng)頁(yè)_訪問(wèn)s (編輯框1.內(nèi)容)編輯框2.內(nèi)容 ＝ 文本_取出中間文本 (得到的內(nèi)容, #常量1, #常量2)PS：第一行是把把編輯框中的網(wǎng)址打開(kāi)后得到的網(wǎng)頁(yè)源碼賦值給“得到的內(nèi)容”這個(gè)文本變量。第二行則是對(duì)“得到的文本”進(jìn)行取中間文本操作，文本_取出中間文本（）是一個(gè)程序！它能取出中間內(nèi)容的程序！7、最后我們把程序調(diào)試運(yùn)行一下，點(diǎn)擊按鈕“取內(nèi)容”，是不是成功了呢？打開(kāi)其他帖子取也是有效的，只要你取前后代碼是正確的！

希望我的回答對(duì)你有所幫助！

微博爬蟲(chóng)系列之關(guān)鍵詞及指定用戶博文爬取

近期的一些微博爬蟲(chóng)內(nèi)容，本篇主要將怎么根據(jù)關(guān)鍵詞或指定用戶進(jìn)行博文爬取。

準(zhǔn)備寫(xiě)的內(nèi)容：

定向詞及指定用戶博文爬取方面，用的是微博網(wǎng)頁(yè)版（ ）。對(duì)于微博網(wǎng)頁(yè)版中相關(guān)博文的爬取，需要使用到 cookies 。這方面的爬取參考了github上的資源：

寫(xiě)的時(shí)候發(fā)現(xiàn)網(wǎng)頁(yè)版的關(guān)鍵詞檢索接口已經(jīng)不見(jiàn)了···可能是微博刪除了網(wǎng)頁(yè)版的接口吧···之后再看看怎么在pc端爬取。

這里先介紹怎么指定用戶進(jìn)行博文爬取吧···

指定用戶的時(shí)候，需要有用戶的用戶id。通常用戶id是一串?dāng)?shù)字，也有一些賬號(hào)更改后是字符串，舉個(gè)例子，何同學(xué)跟央視新聞的微博：

在這里何同學(xué)的 uid = 6529876887 ，央視新聞的 uid = cctvxinwen 。當(dāng)然也可以獲取到央視新聞以數(shù)字存儲(chǔ)的id，之后再講怎么獲取，這里直接放出來(lái)就是 uid = 2656274875 ，點(diǎn)擊可以發(fā)現(xiàn)確實(shí)是央視新聞的微博

這個(gè)問(wèn)題在爬取用戶博文方面沒(méi)有影響，不過(guò)在爬取用戶信息時(shí)會(huì)有影響，后面寫(xiě)用戶信息爬取再說(shuō)這個(gè)情況怎么解決。

下面以央視新聞為例看看怎么爬用戶的博文。

點(diǎn)擊進(jìn)入 央視新聞 的微博，可以看到這個(gè)賬號(hào)發(fā)布了很多很多微博，在網(wǎng)頁(yè)版觀看就會(huì)顯示很多頁(yè)，那么要爬取的時(shí)候就要先獲取他的頁(yè)數(shù)。

當(dāng)點(diǎn)擊第二頁(yè)時(shí)，會(huì)發(fā)現(xiàn) url 會(huì)變成 。也就是說(shuō)這個(gè)翻頁(yè)是以 page 這個(gè)字段進(jìn)行翻頁(yè)的，這就好辦很多了。

將 page 改成 1 可以發(fā)現(xiàn)網(wǎng)頁(yè)跳轉(zhuǎn)到所有博文的第1頁(yè)，接下來(lái)那我們就先獲取到所有的頁(yè)面url。

首先進(jìn)入 ，打開(kāi)開(kāi)發(fā)者模式，在文件中找到自己的 cookies 。

在網(wǎng)頁(yè)開(kāi)發(fā)者模式下，點(diǎn)開(kāi)文件可以發(fā)現(xiàn)沒(méi)有json格式的數(shù)據(jù)輸出。因此這里不能直接通過(guò)解析json數(shù)據(jù)獲取到頁(yè)面數(shù)據(jù)。

這里就需要查看網(wǎng)頁(yè)返回的文本信息了。這里再定位具體信息時(shí)，我用的是 lxml 庫(kù)里的 etree 方法。

這里要查看具體要定位到哪里，可以在網(wǎng)頁(yè)上的源碼進(jìn)行定位，比如我們要定位到頁(yè)數(shù)，找到頁(yè)數(shù)所在的地方：

拿到用戶的所有博文網(wǎng)頁(yè)后，就可以進(jìn)行博文的爬取了。這里每一頁(yè)的數(shù)據(jù)是一樣的，所以直接用第一頁(yè)為例就可以了。同樣的將頁(yè)面數(shù)據(jù)爬下來(lái)：

還是在網(wǎng)頁(yè)上看，定位到某一條博文，可以看到源碼是這樣子的：

可以看到第1頁(yè)這里展示了11條博文（這個(gè)不一定），每條博文放在 div class="c" id="" 的控件里，這里的id是對(duì)應(yīng)的博文id，于是我們就可以拿到博文的控件：

選擇其中一個(gè)博文來(lái)看

這里我們可以看到要的信息全在這里了，接著就按著控件抓信息。這里拿其中一個(gè)節(jié)點(diǎn)為例。

首先獲取微博的url以及微博id，這個(gè)從上面看到，可以從點(diǎn)贊、轉(zhuǎn)發(fā)、評(píng)論處的鏈接獲取，這里選擇最簡(jiǎn)單的轉(zhuǎn)發(fā)鏈接，對(duì)應(yīng)的點(diǎn)贊數(shù)、轉(zhuǎn)發(fā)數(shù)、評(píng)論數(shù)也可以順便爬下來(lái)了：

接下來(lái)看下微博的創(chuàng)建時(shí)間，這里我們看到還有微博的來(lái)源，有一些可能會(huì)沒(méi)有這個(gè)信息：

接下來(lái)就是博文的主體了：

博文方面的內(nèi)容提取基本就是從github上搬過(guò)來(lái)的，對(duì)內(nèi)容部分字符串進(jìn)行了一些匹配清洗：

上面是比較簡(jiǎn)單的博文情況，有一些可能有圖片、視頻、轉(zhuǎn)發(fā)等情況，這里直接放GitHub的做法，具體爬取方式是一樣的，定位控件，找信息：

到這里，指定用戶的博文爬取就結(jié)束了，主要還是參考了GitHub的大神~

Web Scraper教程（五）爬蟲(chóng)進(jìn)階之微博評(píng)論的點(diǎn)擊「查看更多」爬取

任何事件在微博的發(fā)酵速度絕對(duì)是各大平臺(tái)中最快的，如果把微博評(píng)論爬取下來(lái)，進(jìn)行處理和分析，就能對(duì)某個(gè)事件的不同立場(chǎng)和風(fēng)向有了全面的了解和掌握。

當(dāng)然，評(píng)論量大的微博在爬取時(shí)耗費(fèi)時(shí)間較長(zhǎng)，為了縮短操作時(shí)間，找了老羅的一條評(píng)論不太多的微博進(jìn)行演示。

Sitemap name : weibo

Start URL : ;wvr=6mod=weibotimetype=comment

有些頁(yè)面變化比較細(xì)微，需要仔細(xì)觀察才能發(fā)現(xiàn)，微博評(píng)論就是這樣。

在拖動(dòng)滾動(dòng)條至出現(xiàn)「查看更多」的過(guò)程中，頁(yè)面出現(xiàn)了輕微的卡頓，這表示頁(yè)面有一部分會(huì)隨著用戶往下瀏覽而加載。

在爬取數(shù)據(jù)時(shí)，如果沒(méi)有建立「滾動(dòng)至底部」的選擇器，讓卡頓的頁(yè)面也完全呈現(xiàn)出來(lái)，則會(huì)造成程序找不到「查看更多」的情況，導(dǎo)致大量的數(shù)據(jù)沒(méi)有被爬取。

建立「滾動(dòng)至底部」選擇器

Id : scroll

Type : Element scroll down

Select : 點(diǎn)擊第1條和第2條評(píng)論最外圍的方形元素

點(diǎn)擊 Done selecting!

勾選 Multiple

點(diǎn)擊 Save seletor 完成創(chuàng)建

建立點(diǎn)擊「查看更多」選擇器

Id : more

Type : Element click

點(diǎn)擊 Selector 的 Select : 點(diǎn)擊第1條和第2條評(píng)論最外圍的方形元素

點(diǎn)擊 Done selecting!

點(diǎn)擊 Click selector 的 Select : 點(diǎn)擊「查看更多」，注意點(diǎn)擊后對(duì)話框中的內(nèi)容是「a.WB_cardmore」

點(diǎn)擊 Done selecting!

Click type : Click more，表示需要不斷點(diǎn)擊「查看更多」

Click element uniqueness : unique CSS Selector

勾選 Multiple

點(diǎn)擊 Save seletor 完成創(chuàng)建

點(diǎn)擊剛剛創(chuàng)建的 more 選擇器，在此選擇器下創(chuàng)建爬取評(píng)論的選擇器

Id : comment

Type : Text

Select : 點(diǎn)擊黃色方形元素中的評(píng)論

點(diǎn)擊 Done selecting!

點(diǎn)擊 Save seletor 完成創(chuàng)建

Request interval 和 Page load delay 均按默認(rèn)即可

怎么爬取新浪微博當(dāng)前頁(yè)面的內(nèi)容

微博這一類的主流網(wǎng)站現(xiàn)在都普遍采用ajax加載數(shù)據(jù)，也就是如果你通過(guò)傳統(tǒng)的爬蟲(chóng)方式post一個(gè)url或者請(qǐng)求參數(shù)過(guò)去，接受響應(yīng)的字符串，也就是響應(yīng)的html代碼，會(huì)發(fā)現(xiàn)里面沒(méi)有你要的數(shù)據(jù)，這是因?yàn)檫@個(gè)代碼里面有一些js腳本，等到瀏覽器顯示這個(gè)網(wǎng)頁(yè)的時(shí)候，這些js就會(huì)運(yùn)行，從而顯示你想要看的數(shù)據(jù)，ajax還用來(lái)在你操作的時(shí)候不刷新網(wǎng)頁(yè)，只加載一部分頁(yè)面數(shù)據(jù)，如果你發(fā)現(xiàn)一個(gè)網(wǎng)站在你操作的時(shí)候只有頁(yè)面部分?jǐn)?shù)據(jù)在變動(dòng)，網(wǎng)址不變，就是ajax，這個(gè)很容易判斷。另外，如果你發(fā)現(xiàn)網(wǎng)頁(yè)瀏覽器顯示網(wǎng)頁(yè)加載完畢，然后頁(yè)面上還有一些數(shù)據(jù)正在加載，這種數(shù)據(jù)也屬于ajax異步加載的。判斷好之后，就要采用能處理ajax的方式抓取數(shù)據(jù)了。

這里有兩種方法： 1. 分析ajax腳本，找到對(duì)應(yīng)的加載數(shù)據(jù)的js腳本，然后分析其邏輯，一般也是生成一個(gè)http請(qǐng)求，然后這個(gè)http請(qǐng)求一般只返回jason格式的數(shù)據(jù)。你可以通過(guò)代碼模擬這個(gè)請(qǐng)求來(lái)獲取數(shù)據(jù)。但是這種辦法比較老土，也很麻煩需要你研究js代碼的邏輯，你如果不會(huì)寫(xiě)代碼就比較麻煩。當(dāng)然有一些fiddler之類的網(wǎng)頁(yè)通信抓包分析工具可以幫你一些忙。

2. 使用現(xiàn)在比較主流的智能采集軟件如八爪魚(yú)，需要支持瀏覽器和可視化采集，這樣軟件會(huì)自動(dòng)模擬人的操作完成所有工作，包括運(yùn)行界面的腳本，最后你會(huì)在界面上看到數(shù)據(jù)，就和上網(wǎng)看網(wǎng)頁(yè)沒(méi)任何區(qū)別，但是此類工具可以自動(dòng)提取你在網(wǎng)頁(yè)上看到的數(shù)據(jù)。用鼠標(biāo)點(diǎn)點(diǎn)就提取到數(shù)據(jù)了，這種方式適合不懂代碼的人。

3. 當(dāng)然你也可以上網(wǎng)上找一下別人都是怎么采集微博數(shù)據(jù)的。然后拿別人的勞動(dòng)成果來(lái)用，這個(gè)就更簡(jiǎn)單。比如，我按照你的要求在數(shù)多多上搜索微博數(shù)據(jù)采集規(guī)則就出來(lái)好多。截圖如下：可以看到有微博賬號(hào)，話題，評(píng)論，明星等等，別人也都詳細(xì)寫(xiě)了如何用這些東西。

分享題目：go語(yǔ)言爬微博,gori的微博
網(wǎng)頁(yè)路徑：http://sd-ha.com/article0/hdhcio.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供企業(yè)建站、App設(shè)計(jì)、云服務(wù)器、、定制網(wǎng)站、網(wǎng)站設(shè)計(jì)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)