這期內(nèi)容當(dāng)中小編將會(huì)給大家?guī)碛嘘P(guān)利用Python爬蟲獲取百度貼吧內(nèi)容，文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

創(chuàng)新互聯(lián)專業(yè)為企業(yè)提供南關(guān)網(wǎng)站建設(shè)、南關(guān)做網(wǎng)站、南關(guān)網(wǎng)站設(shè)計(jì)、南關(guān)網(wǎng)站制作等企業(yè)網(wǎng)站建設(shè)、網(wǎng)頁(yè)設(shè)計(jì)與制作、南關(guān)企業(yè)網(wǎng)站模板建站服務(wù)，十余年南關(guān)做網(wǎng)站經(jīng)驗(yàn)，不只是建網(wǎng)站，更提供有價(jià)值的思路和整體網(wǎng)絡(luò)服務(wù)。

Python版本 : 3.6

瀏覽器版本： Chrome

目標(biāo)分析：

由于是第一個(gè)實(shí)驗(yàn)性質(zhì)爬蟲，我們要做的不多，我們需要做的就是：

1、從網(wǎng)上爬下特定頁(yè)碼的網(wǎng)頁(yè)

2、對(duì)于爬下的頁(yè)面內(nèi)容進(jìn)行簡(jiǎn)單的篩選分析

3、找到每一篇帖子的 標(biāo)題、發(fā)帖人、日期、樓層、以及跳轉(zhuǎn)鏈接

4、將結(jié)果保存到文本。

前期準(zhǔn)備：

看到貼吧的url地址是不是覺得很亂？有那一大串認(rèn)不得的字符？

其實(shí)這些都是中文字符，

%E8%A5%BF%E9%83%A8%E4%B8%96%E7%95%8C

開始寫代碼吧？

我們先寫出抓取頁(yè)面內(nèi)人的函數(shù)：

這是前面介紹過的爬取框架，以后我們會(huì)經(jīng)常用到。

import requests 
from bs4 import BeautifulSoup
    
# 首先我們寫好抓取網(wǎng)頁(yè)的函數(shù)
def get_html(url):
    try:
        r = requests.get(url,timeout=30)
        r.raise_for_status()
        #這里我們知道百度貼吧的編碼是utf-8，所以手動(dòng)設(shè)置的。爬去其他的頁(yè)面時(shí)建議使用：
        # r.endcodding = r.apparent_endconding 
        r.encoding='utf-8'
        return r.text
    except:
        return " ERROR "

接著我們摘取其中的詳細(xì)信息：

我們來分一下每一個(gè)li標(biāo)簽內(nèi)部的結(jié)構(gòu)：

一個(gè)大的li標(biāo)簽內(nèi)包裹著很多個(gè) div標(biāo)簽

而我們要的信息就在這一個(gè)個(gè)div標(biāo)簽之內(nèi)：

# 標(biāo)題&帖子鏈接
<a rel="noreferrer" href="/p/5803134498" title="【高淸】西部世界1-2季，中英字，未??刪?減.??任性給" 
target="_blank" class="j_th_tit ">【高淸】西部世界1-2季，中英字，未??刪?減.??任性給</a>
    
#發(fā)帖人：
<span class="tb_icon_author no_icon_author" title="主題作者: 愛學(xué)習(xí)的萌新_" data-field="
{&quot;user_id&quot;:829797296}"><i class="icon_author"></i><span class="pre_icon_wrap pre_icon_wrap_theme1 
frs_bright_preicon"><a class="icon_tbworld icon-crown-super-v1" href="/tbmall/tshow" data-field="
{&quot;user_id&quot;:829797296}" target="_blank" title="貼吧超級(jí)會(huì)員"></a></span>
    
#回復(fù)數(shù)量：
    
<div class="col2_left j_threadlist_li_left">
<span class="threadlist_rep_num center_text" title="回復(fù)">822</span>
</div>
    
#發(fā)帖日期：
<span class="pull-right is_show_create_time" title="創(chuàng)建時(shí)間">7-20</span>

分析完之后，我們就能很容易的通過soup.find()方法得到我們想要的結(jié)果

具體代碼的實(shí)現(xiàn)：

'''
抓取百度貼吧---西部世界吧的基本內(nèi)容
爬蟲線路： requests - bs4
Python版本： 3.6
'''
    
import requests
import time
from bs4 import BeautifulSoup
    
# 首先我們寫好抓取網(wǎng)頁(yè)的函數(shù)
    
    
def get_html(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        # 這里我們知道百度貼吧的編碼是utf-8，所以手動(dòng)設(shè)置的。爬去其他的頁(yè)面時(shí)建議使用：
        # r.endcodding = r.apparent_endconding
        r.encoding = 'utf-8'
        return r.text
    except:
        return " ERROR "
    
    
def get_content(url):
    '''
    分析貼吧的網(wǎng)頁(yè)文件，整理信息，保存在列表變量中
    '''
    
    # 初始化一個(gè)列表來保存所有的帖子信息：
    comments = []
    # 首先，我們把需要爬取信息的網(wǎng)頁(yè)下載到本地
    html = get_html(url)
    
    # 我們來做一鍋湯
    soup = BeautifulSoup(html, 'lxml')
    
    # 按照之前的分析，我們找到所有具有‘ j_thread_list clearfix’屬性的li標(biāo)簽。返回一個(gè)列表類型。
    liTags = soup.find_all('li', attrs={'class': ' j_thread_list clearfix'})
    
    # 通過循環(huán)找到每個(gè)帖子里的我們需要的信息：
    for li in liTags:
        # 初始化一個(gè)字典來存儲(chǔ)文章信息
        comment = {}
        # 這里使用一個(gè)try except 防止爬蟲找不到信息從而停止運(yùn)行
        try:
            # 開始篩選信息，并保存到字典中
            comment['title'] = li.find(
                'a', attrs={'class': 'j_th_tit '}).text.strip()
            comment['link'] = "http://tieba.baidu.com/" + \
                li.find('a', attrs={'class': 'j_th_tit '})['href']
            comment['name'] = li.find(
                'span', attrs={'class': 'tb_icon_author '}).text.strip()
            comment['time'] = li.find(
                'span', attrs={'class': 'pull-right is_show_create_time'}).text.strip()
            comment['replyNum'] = li.find(
                'span', attrs={'class': 'threadlist_rep_num center_text'}).text.strip()
            comments.append(comment)
        except:
            print('出了點(diǎn)小問題')
    
    return comments
    
    
def Out2File(dict):
    '''
    將爬取到的文件寫入到本地
    保存到當(dāng)前目錄的 TTBT.txt文件中。
    
    '''
    with open('TTBT.txt', 'a+') as f:
        for comment in dict:
            f.write('標(biāo)題： {} \t 鏈接：{} \t 發(fā)帖人：{} \t 發(fā)帖時(shí)間：{} \t 回復(fù)數(shù)量： {} \n'.format(
                comment['title'], comment['link'], comment['name'], comment['time'], comment['replyNum']))
    
        print('當(dāng)前頁(yè)面爬取完成')
    
    
def main(base_url, deep):
    url_list = []
    # 將所有需要爬去的url存入列表
    for i in range(0, deep):
        url_list.append(base_url + '&pn=' + str(50 * i))
    print('所有的網(wǎng)頁(yè)已經(jīng)下載到本地！ 開始篩選信息。。。。')
    
    #循環(huán)寫入所有的數(shù)據(jù)
    for url in url_list:
        content = get_content(url)
        Out2File(content)
    print('所有的信息都已經(jīng)保存完畢！')
    
    
base_url = 'https://tieba.baidu.com/f?kw=%E8%A5%BF%E9%83%A8%E4%B8%96%E7%95%8C&ie=utf-8'
# 設(shè)置需要爬取的頁(yè)碼數(shù)量
deep = 3
    
if __name__ == '__main__':
    main(base_url, deep)

代碼里有詳細(xì)的注釋和思路，看不懂的話 多看幾遍
下面是爬完的結(jié)果：

上述就是小編為大家分享的利用Python爬蟲獲取百度貼吧內(nèi)容了，如果剛好有類似的疑惑，不妨參照上述分析進(jìn)行理解。如果想知道更多相關(guān)知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

當(dāng)前名稱：利用Python爬蟲獲取百度貼吧內(nèi)容
當(dāng)前路徑：http://sd-ha.com/article16/jiihdg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站建設(shè)、外貿(mào)建站、搜索引擎優(yōu)化、網(wǎng)站制作、響應(yīng)式網(wǎng)站、域名注冊(cè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)