python 實(shí)現(xiàn)多線程下載m3u8格式視頻并使用fmmpeg合并
電影之類的長(zhǎng)視頻好像都用m3u8格式了,這就導(dǎo)致了多線程下載視頻的意義不是很大,都是短視頻,線不線程就沒什么意義了嘛。
我們知道,m3u8的鏈接會(huì)下載一個(gè)文檔,相當(dāng)長(zhǎng),半小時(shí)的視頻,應(yīng)該有接近千行ts鏈接。
這些ts鏈接下載成ts文件,就是碎片化的視頻,加以合并,就成了需要的視頻。
那,即便網(wǎng)速很快,下幾千行視頻,效率也就低了,更何況還要合并。我就琢磨了一下午,怎么樣才能多線程下載m3u8格式的視頻呢?
先上代碼,再說重難點(diǎn):
import datetime
import os
import re
import threading
import requests
from queue import Queue
# 預(yù)下載,獲取m3u8文件,讀出ts鏈接,并寫入文檔
def down():
# m3u8鏈接
url = 'https://ali-video.acfun.cn/mediacloud/acfun/acfun_video/segment/3zf_GAW6nFMuDXrTLL89OZYOZ4mwxGoASH6UcZbsj1_6eAxUxtp3xm8wFmGMNOnZ.m3u8?auth_key=1573739375-474267152-0-a5aa2b6df4cb4168381bf8b04d88ddb1'
# 當(dāng)ts文件鏈接不完整時(shí),需拼湊
# 大部分網(wǎng)站可使用該方法拼接,部分特殊網(wǎng)站需單獨(dú)拼接
base_url = re.split(r"[a-zA-Z0-9-_\.]+\.m3u8", url)[0]
# print(base_url)
resp = requests.get(url)
m3u8_text = resp.text
# print(m3u8_text)
# 按行拆分m3u8文檔
ts_queue = Queue(10000)
lines = m3u8_text.split('\n')
# 找到文檔中含有ts字段的行
concatfile = 'cache/' + "s" + '.txt'
for line in lines:
if '.ts' in line:
if 'http' in line:
# print("ts>>", line)
ts_queue.put(line)
else:
line = base_url + line
ts_queue.put(line)
# print('ts>>',line)
filename = re.search('([a-zA-Z0-9-]+.ts)', line).group(1).strip()
# 一定要先寫文件,因?yàn)榫€程的下載是無序的,文件無法按照
# 123456。。。去順序排序,而文件中的命名也無法保證是按順序的
# 這會(huì)導(dǎo)致下載的ts文件無序,合并時(shí),就會(huì)順序錯(cuò)誤,導(dǎo)致視頻有問題。
open(concatfile, 'a+').write("file %s\n" % filename)
return ts_queue,concatfile
# 線程模式,執(zhí)行線程下載
def run(ts_queue):
tt_name = threading.current_thread().getName()
while not ts_queue.empty():
url = ts_queue.get()
r = requests.get(url, stream=True)
filename = re.search('([a-zA-Z0-9-]+.ts)', url).group(1).strip()
with open('cache/' + filename, 'wb') as fp:
for chunk in r.iter_content(5242):
if chunk:
fp.write(chunk)
print(tt_name + " " + filename + ' 下載成功')
# 視頻合并方法,使用ffmpeg
def merge(concatfile, name):
try:
path = 'cache/' + name + '.mp4'
command = 'ffmpeg -y -f concat -i %s -crf 18 -ar 48000 -vcodec libx264 -c:a aac -r 25 -g 25 -keyint_min 25 -strict -2 %s' % (concatfile, path)
os.system(command)
print('視頻合并完成')
except:
print('合并失敗')
if __name__ == '__main__':
name = input('請(qǐng)輸入視頻名稱:')
start = datetime.datetime.now().replace(microsecond=0)
s,concatfile = down()
# print(s,concatfile)
threads = []
for i in range(15):
t = threading.Thread(target=run, name='th-'+str(i), kwargs={'ts_queue': s})
threads.append(t)
for t in threads:
t.start()
for t in threads:
t.join()
end = datetime.datetime.now().replace(microsecond=0)
print('下載耗時(shí):' + str(end - start))
merge(concatfile,name)
over = datetime.datetime.now().replace(microsecond=0)
print('合并耗時(shí):' + str(over - end))
效果圖:

代碼開始:自己輸入視頻名稱(也可以去原網(wǎng)站爬名稱)
查看下載耗時(shí),fmmpeg開始合并:

合并耗時(shí):

7分多鐘,90個(gè)ts文件,接近40MB。兩秒下載完成。
更大的文件,開更多的線程。
然后我們畫畫重難點(diǎn):
第一:ts文件命名問題。
我們知道,每一個(gè)線程啟動(dòng),除了隊(duì)列不會(huì)重復(fù),那么代碼里都會(huì)重新跑(線程里的代碼),那么,1.ts,2.ts....這種命名是不可能的了,文件會(huì)被覆蓋。命名我使用了ts鏈接中的部分鏈接。
第二:合并問題。
文件的合并是根據(jù)文檔內(nèi)的順序,也就是,如果邊下載邊合并,那么,線程的無序性導(dǎo)致下載無序,文件寫入也就無序化了,合并時(shí),時(shí)間線會(huì)錯(cuò)誤,合出來的視頻就無法看。因此,文件要提前寫好才行,這和命名有很大的關(guān)聯(lián),看代碼即知。
第三:有的m3u8是特殊處理的,代碼具有一定的局限性。
寫的時(shí)候挺難的,腦子都亂了,就這些吧,記錄一下。
對(duì)了,貼一下下載的圖:90個(gè)ts文件,一個(gè)mp4文件,一個(gè)文檔。

總結(jié)
以上所述是小編給大家介紹的python 實(shí)現(xiàn)多線程下載m3u8格式視頻并使用fmmpeg合并,希望對(duì)大家有所幫助,如果大家有任何疑問請(qǐng)給我留言,小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)腳本之家網(wǎng)站的支持!
如果你覺得本文對(duì)你有幫助,歡迎轉(zhuǎn)載,煩請(qǐng)注明出處,謝謝!
- python實(shí)現(xiàn)m3u8格式轉(zhuǎn)換為mp4視頻格式
- python3.6根據(jù)m3u8下載mp4視頻
- python爬取m3u8連接的視頻
- python爬取基于m3u8協(xié)議的ts文件并合并
- 利用python爬取m3u8格式視頻的具體實(shí)現(xiàn)
- Python通過m3u8文件下載合并ts視頻的操作
- python將下載到本地m3u8視頻合成MP4的代碼詳解
- Python解析m3u8拼接下載mp4視頻文件的示例代碼
- Python爬蟲之m3u8文件里提取小視頻的正確姿勢(shì)
- python基于?Web?實(shí)現(xiàn)?m3u8?視頻播放的實(shí)例
相關(guān)文章
使用SimpleITK讀取和保存NIfTI/DICOM文件實(shí)例
這篇文章主要介紹了使用SimpleITK讀取和保存NIfTI/DICOM文件實(shí)例,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-07-07
Tensorflow tf.dynamic_partition矩陣拆分示例(Python3)
今天小編就為大家分享一篇Tensorflow tf.dynamic_partition矩陣拆分示例(Python3) ,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-02-02
Python實(shí)現(xiàn)將絕對(duì)URL替換成相對(duì)URL的方法
這篇文章主要介紹了Python實(shí)現(xiàn)將絕對(duì)URL替換成相對(duì)URL的方法,涉及Python字符串操作及正則匹配的相關(guān)技巧,需要的朋友可以參考下2015-06-06
pandas和spark dataframe互相轉(zhuǎn)換實(shí)例詳解
這篇文章主要介紹了pandas和spark dataframe互相轉(zhuǎn)換實(shí)例詳解,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-02-02

