這篇文章主要介紹怎么用python爬蟲多線程快速獲取視頻,文中介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們一定要看完!
創(chuàng)新互聯堅持“要么做到,要么別承諾”的工作理念,服務領域包括:網站設計、成都網站制作、企業(yè)官網、英文網站、手機端網站、網站推廣等服務,滿足客戶于互聯網時代的沙灣網站設計、移動媒體設計的需求,幫助企業(yè)找到有效的互聯網解決方案。努力成為您成熟可靠的網絡建設合作伙伴!
先看請求的URL
https://api.bilibili.com/medialist/gateway/base/spaceDetail?media_id=88854277&pn=1&ps=20&keyword=&order=mtime&type=0&tid=0&jsonp=jsonp
media_id是收藏夾的id號,pn是代表哪一分頁,ps是當前分頁中視頻數量。
那么我們就可以調用這個api來拿到所有收藏的視頻了。
我們的視頻分頁當然不可能只有一頁,所以我們可以遍歷pn遞增。
i = 1 while 1 : url = 'https://api.bilibili.com/medialist/gateway/base/spaceDetail?media_id=88854277&pn='+ str(i) +'&ps=20&keyword=?=mtime&type=0&tid=0&jsonp=jsonp' html = requests.get(url) i = i + 1 print(html.text)
這樣就能拿到一個收藏夾下所有視頻了,當i超過收藏夾頁數時,直接異常退出即可。
接下來我們需要解析出每一個視頻的id。
根據json解析,我們很容易就能用
res['data']['medias']
來獲得所有的視頻,然后再根據下標解析出每一個視頻。
res = json.loads(html.text) len_video = len(res['data']['medias']) for id in range(0,len_video): create_thread(res['data']['medias'][id])
這樣我們就可以獲取當前頁視頻數量,然后創(chuàng)建線程進行下載了,因為下載是一個非常占IO的事情,如果你單線程執(zhí)行,下載一個視頻再下載另一個,這樣會很慢,我們可以給每一個視頻創(chuàng)建一個線程來提高速度。
def create_thread(res): thread = myThread(res['id'],res['title'],res['id']) thread.start()
創(chuàng)建線程的線程號是視頻的id號,線程名是視頻名。
class myThread(threading.Thread): # 繼承父類threading.Thread def __init__(self, threadID, name, counter): threading.Thread.__init__(self) self.threadID = threadID self.name = name self.counter = counter def run(self): download_video(self.threadID)
線程類如上,里面有兩個函數,__init__是默認的線程初始化函數,里面就是我們創(chuàng)建線程時傳入的id和name。第二個函數是線程執(zhí)行時的run方法,也就是我們定義線程的具體要做的事,里面只有一個download_video方法。
# 下載視頻 def download_video(av_id): os.system('you-get -o d:/vedio/ https://www.bilibili.com/video/av'+str(av_id))
在下載函數中,我們可以調用you-get來幫助我們解析下載視頻(不要問為什么調you-get,自己解析太麻煩了)。
下載完成后:
以上是“怎么用python爬蟲多線程快速獲取視頻”這篇文章的所有內容,感謝各位的閱讀!希望分享的內容對大家有幫助,更多相關知識,歡迎關注創(chuàng)新互聯行業(yè)資訊頻道!
文章題目:怎么用python爬蟲多線程快速獲取視頻
URL分享:http://sd-ha.com/article30/geedpo.html
成都網站建設公司_創(chuàng)新互聯,為您提供面包屑導航、網站改版、微信小程序、網站設計、外貿網站建設、全網營銷推廣
聲明:本網站發(fā)布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創(chuàng)新互聯