欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

iOS直播類APP開發(fā)流程解析

 更新時(shí)間:2016年08月26日 17:12:17   作者:Allence  
這篇文章主要為大家詳細(xì)解析了iOS直播類APP開發(fā)流程,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下

本文為大家分享了iOS直播類APP開發(fā)流程,供大家參考,具體內(nèi)容如下

一 . 音視頻處理的一般流程:

 數(shù)據(jù)采集→數(shù)據(jù)編碼→數(shù)據(jù)傳輸(流媒體服務(wù)器) →解碼數(shù)據(jù)→播放顯示
1、數(shù)據(jù)采集:
攝像機(jī)及拾音器收集視頻及音頻數(shù)據(jù),此時(shí)得到的為原始數(shù)據(jù)
涉及技術(shù)或協(xié)議:
攝像機(jī):CCD、CMOS
拾音器:聲電轉(zhuǎn)換裝置(咪頭)、音頻放大電路
2、數(shù)據(jù)編碼:
使用相關(guān)硬件或軟件對(duì)音視頻原始數(shù)據(jù)進(jìn)行編碼處理(數(shù)字化)及加工(如音視頻混合、打包封裝等),得到可用的音視頻數(shù)據(jù)
涉及技術(shù)或協(xié)議:
編碼方式:CBR、VBR
編碼格式
視頻:H.265、H.264、MPEG-4等,封裝容器有TS、MKV、AVI、MP4等
音頻:G.711μ、AAC、Opus等,封裝有MP3、OGG、AAC等
3、數(shù)據(jù)傳輸:
將編碼完成后的音視頻數(shù)據(jù)進(jìn)行傳輸,早期的音視頻通過(guò)同軸電纜之類的線纜進(jìn)行傳輸,IP網(wǎng)絡(luò)發(fā)展后,使用IP網(wǎng)絡(luò)優(yōu)傳輸
涉及技術(shù)或協(xié)議:
傳輸協(xié)議:RTP與RTCP、RTSP、RTMP、HTTP、HLS(HTTP Live Streaming)等
控制信令:SIP和SDP、SNMP等
4、解碼數(shù)據(jù):
使用相關(guān)硬件或軟件對(duì)接收到的編碼后的音視頻數(shù)據(jù)進(jìn)行解碼,得到可以直接顯示的圖像/聲音
涉及技術(shù)或協(xié)議:
一般對(duì)應(yīng)的編碼器都會(huì)帶有相應(yīng)的解碼器,也有一些第三方解碼插件等
5、播放顯示:
在顯示器(電視、監(jiān)視屏等)或揚(yáng)聲器(耳機(jī)、喇叭等)里,顯示相應(yīng)的圖像畫面或聲音
涉及技術(shù)或協(xié)議:
顯示器、揚(yáng)聲器、3D眼鏡等

 (二) 視頻推流與視頻拉流的工作過(guò)程解析: 
1.視頻推流端
推流,就是將采集到的音頻,視頻數(shù)據(jù)通過(guò)流媒體協(xié)議發(fā)送到流媒體服務(wù)器。 
一、選擇流媒體協(xié)議 
現(xiàn)在直播應(yīng)用,采用RTMP協(xié)議居多,也有部分使用HLS協(xié)議。 
采用RTMP協(xié)議,就要看下它與流媒體服務(wù)器交互的過(guò)程,RTMP協(xié)議的默認(rèn)端口是1935,采用TCP協(xié)議。并且需要了解FLV的封裝格式。 
采用HLS協(xié)議,因?yàn)樯婕暗角衅?,延時(shí)會(huì)比較大,需要了解TS流。 

二、采集音視頻數(shù)據(jù) 
做直播,數(shù)據(jù)的來(lái)源不可缺少,就是采集攝像頭,麥克風(fēng)的數(shù)據(jù)。 
iOS平臺(tái)上采集音視頻數(shù)據(jù),需要使用AVFoundation.Framework框架,從captureSession會(huì)話的回調(diào)中獲取音頻,視頻數(shù)據(jù)。 

三、硬編碼,軟編碼音視頻數(shù)據(jù)

軟編碼就是利用CPU資源來(lái)壓縮音視頻數(shù)據(jù),硬編碼與之相反。 
軟編碼的話,現(xiàn)在廣泛采用FFmpeg庫(kù)結(jié)合編碼庫(kù)來(lái)實(shí)現(xiàn),F(xiàn)Fmpeg+X624來(lái)編碼視頻數(shù)據(jù)YUV/RGB輸出H264數(shù)據(jù),
FFmpeg+fdk_aac來(lái)編碼音頻數(shù)據(jù)PCM輸出AAC數(shù)據(jù)。

 四、根據(jù)所選流媒體協(xié)議封包音視頻數(shù)據(jù)
 將音頻,視頻打包成packet。 

五、與服務(wù)器交互發(fā)送封包數(shù)據(jù)
根據(jù)所選流媒體協(xié)議,發(fā)送相應(yīng)指令連接服務(wù)器,連接服務(wù)器成功后,就可以發(fā)送packet數(shù)據(jù)了。 
Part 2. 拉流端 
拉流,就是從流媒體服務(wù)器獲取音頻,視頻數(shù)據(jù)。 
一)、解析協(xié)議 
播放器端根據(jù)URL解析所用的流媒體協(xié)議(RTMP,HLS)。 
二)、解封裝 
解封裝,就是demux的過(guò)程,從容器格式(FLV,TS)中,分離出音視頻數(shù)據(jù)。 
三)、解碼 
解碼,就是把獲取到的數(shù)據(jù)解壓縮,恢復(fù)成原始數(shù)據(jù)。解碼就是將H264變成YUV,AAC變成PCM。 
解碼可以使用軟解碼,硬解碼。 
軟解碼就是利用CPU資源去解壓縮數(shù)據(jù),采用的方式是FFmpeg解碼。 
硬解碼,對(duì)于iOS平臺(tái)來(lái)說(shuō),可以使用VideoToolbox.Framework(該框架只能在iOS 8.0及以上系統(tǒng)使用)
硬解碼視頻數(shù)據(jù)。Android平臺(tái)上,可以使用MediaCodec來(lái)硬解碼視頻數(shù)據(jù)。 
四)、渲染數(shù)據(jù) 
采用OpenGL渲染YUV數(shù)據(jù),呈現(xiàn)視頻畫面。將PCM送入設(shè)備的硬件資源播放,產(chǎn)生聲音。 
iOS播放流式音頻,使用Audio Queue 的方式,即,利用AudioToolbox.Framework 框架。

三、 iOS開發(fā)之iOS直播平臺(tái)有用的第三方資源共享: 
1.  實(shí)時(shí)美顏參考網(wǎng)址:http://altitudelabs.com/blog/real-time-filter/ 
2. 直播測(cè)試地址: 
HLS:http://live.3gv.ifeng.com/live/hongkong.m3u8 鳳凰衛(wèi)視香港臺(tái) 
SMTP:rtmp://live.hkstv.hk.lxdns.com/live/hks 香港衛(wèi)視 
RSTP:rtsp://rtsp.vdowowza.tvb.com/tvblive/mobileinews200.stream 互動(dòng)新聞臺(tái)1 
3.  HLS streaming工具下載,用于處理m3u8音、視頻源的HLS Streaming Tool Download
4. 直播相關(guān)SDK
1). VideoCore 在新浪云上有文檔說(shuō)明,可閱讀iOS推流SDK使用文檔
2). 網(wǎng)易云信直播SDK 好像是收費(fèi)的,價(jià)格還不便宜,一般公司可能也不會(huì)用,不過(guò)可以嘗試看看,了解一下,有助于學(xué)習(xí)!
3). 暴風(fēng)云直播   http://www.baofengcloud.com/apisdk/sdk/live/iossdk.html
4). 融云直播     http://www.rongcloud.cn/live
5). 騰訊直播SDK  https://www.qcloud.com/solution/video.html

5. 直播相關(guān)開源庫(kù)
1). BeautifyFaceDemo 基于GPUImage的圖片處理,做美顏方面可以參考一下
2).   lf.swift 開源RTMP Swift版的,可以學(xué)習(xí)一下!好像作者是日本的,或者是在日本工作的,寫了不少日文!
3).  PLPlayerKit 一個(gè)不依賴FFmpeg的播放器,支持RTMP
4).  HLS-Demo   https://github.com/yangchao0033/HLS-Demo  HLS播放demo
5). SmarterStreaming  https://github.com/daniulive/SmarterStreaming  直播SDK(支持私有協(xié)議和RTMP推流,如windows推流/android推流/iOS推流/windows播放器/android播放器/iOS播放器) 

四、 iOS開發(fā)之 iOS 直播平臺(tái) 常見(jiàn)的視頻直播相關(guān)協(xié)議詳解

1、RTMP(Real Time Messaging Protocol,實(shí)時(shí)消息傳送協(xié)議) 
RTMP是Adobe Systems公司為Flash播放器和服務(wù)器之間音頻、視頻和數(shù)據(jù)傳輸開發(fā)的開放協(xié)議。它有三種變種: 
1)、工作在TCP之上的明文協(xié)議,使用端口1935; 
2)、RTMPT封裝在HTTP請(qǐng)求之中,可穿越防火墻; 
3)、RTMPS類似RTMPT,但使用的是HTTPS連接; 
RTMP協(xié)議是被Flash用于對(duì)象、視頻、音頻的傳輸。這個(gè)協(xié)議建立在TCP協(xié)議或者輪詢HTTP協(xié)議之上。RTMP協(xié)議就像一個(gè)用來(lái)裝數(shù)據(jù)包的容器,這些數(shù)據(jù)既可以是AMF格式的數(shù)據(jù),也可以是FLV中的視音頻數(shù)據(jù)。一個(gè)單一的連接可以通過(guò)不同的通道傳輸多路網(wǎng)絡(luò)流,這些通道中的包都是按照固定大小的包傳輸?shù)摹?nbsp;

2、RTSP(Real Time Streaming Protocol,實(shí)時(shí)流傳輸協(xié)議) 
RTSP定義了一對(duì)多應(yīng)用程序如何有效地通過(guò)IP網(wǎng)絡(luò)傳送多媒體數(shù)據(jù)。RTSP提供了一個(gè)可擴(kuò)展框架,數(shù)據(jù)源可以包括實(shí)時(shí)數(shù)據(jù)與已有的存儲(chǔ)的數(shù)據(jù)。該協(xié)議目的在于控制多個(gè)數(shù)據(jù)發(fā)送連接,為選擇發(fā)送通道如UDP、組播UDP與TCP提供途徑,并為選擇基于RTP上發(fā)送機(jī)制提供方法。 
RTSP語(yǔ)法和運(yùn)作跟HTTP/1.1類似,但并不特別強(qiáng)調(diào)時(shí)間同步,所以比較能容忍網(wǎng)絡(luò)延遲。代理服務(wù)器的緩存功能也同樣適用于RTSP,并且因?yàn)镽TSP具有重新導(dǎo)向功能,可根據(jù)實(shí)際負(fù)載情況來(lái)切換提供服務(wù)的服務(wù)器,以避免過(guò)大的負(fù)載集中于同一服務(wù)器而造成延遲。 

3、RTP(Real-time Transport Protocol,實(shí)時(shí)傳輸協(xié)議) 
RTP是針對(duì)多媒體數(shù)據(jù)流的一種傳輸層協(xié)議,詳細(xì)說(shuō)明了在互聯(lián)網(wǎng)上傳遞音頻和視頻的標(biāo)準(zhǔn)數(shù)據(jù)包格式。RTP協(xié)議常用于流媒體系統(tǒng)(配合RTCP協(xié)議),視頻會(huì)議和一鍵通系統(tǒng)(配合H.323或SIP),使它成為IP電話產(chǎn)業(yè)的技術(shù)基礎(chǔ)。 
RTP是建立在UDP協(xié)議上的,常與RTCP一起使用,其本身并沒(méi)有提供按時(shí)發(fā)送機(jī)制或其它服務(wù)質(zhì)量(QoS)保證,它依賴于低層服務(wù)去實(shí)現(xiàn)這一過(guò)程。 
RTP 并不保證傳送或防止無(wú)序傳送,也不確定底層網(wǎng)絡(luò)的可靠性,只管發(fā)送,不管傳輸是否丟包,也不管接收方是否有收到包。RTP 實(shí)行有序傳送,RTP中的序列號(hào)允許接收方重組發(fā)送方的包序列,同時(shí)序列號(hào)也能用于決定適當(dāng)?shù)陌恢?,如在視頻解碼中,就不需要順序解碼。 

4、RTCP(Real-time Transport Control Protocol,實(shí)時(shí)傳輸控制協(xié)議) 
RTCP是RTP的配套協(xié)議,為RTP媒體流提供信道外的控制。RTCP和RTP一起協(xié)作將多媒體數(shù)據(jù)打包和發(fā)送,定期在多媒體流會(huì)話參與者之間傳輸控制數(shù)據(jù)。 
RTCP的主要功能是為RTP所提供的服務(wù)質(zhì)量(QoS)提供反饋,收集相關(guān)媒體連接的統(tǒng)計(jì)信息,例如傳輸字節(jié)數(shù),傳輸分組數(shù),丟失分組數(shù),單向和雙向網(wǎng)絡(luò)延遲等等。網(wǎng)絡(luò)應(yīng)用程序可以利用RTCP所提供的信息來(lái)提高服務(wù)質(zhì)量,比如限制流量或改用壓縮比小的編解碼器。

以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。

相關(guān)文章

  • IOS 中 new 和 alloc init 的對(duì)比

    IOS 中 new 和 alloc init 的對(duì)比

    這篇文章主要介紹了IOS 中 new 和 alloc init 的區(qū)別的相關(guān)資料,需要的朋友可以參考下
    2017-02-02
  • 基于iOS實(shí)現(xiàn)音樂(lè)震動(dòng)條效果

    基于iOS實(shí)現(xiàn)音樂(lè)震動(dòng)條效果

    這篇文章主要為大家詳細(xì)介紹了基于iOS實(shí)現(xiàn)音樂(lè)震動(dòng)條效果,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2017-07-07
  • Nib文件是什么?Nib文件打開方法

    Nib文件是什么?Nib文件打開方法

    這篇文章主要介紹了Nib文件是什么?Nib文件打開方法,nib文件是Cocoa App的界面資源,這種文件直接用xcode是不能被打開的,要修改后才能打開,本文就講解了修改方法,需要的朋友可以參考下
    2015-04-04
  • UICollectionView 實(shí)現(xiàn)圖片瀏覽效果

    UICollectionView 實(shí)現(xiàn)圖片瀏覽效果

    這篇文章主要為大家介紹了UICollectionView 實(shí)現(xiàn)圖片瀏覽效果示例,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
    2022-07-07
  • iOS UITableView 與 UITableViewController實(shí)例詳解

    iOS UITableView 與 UITableViewController實(shí)例詳解

    這篇文章主要介紹了iOS UITableView 與 UITableViewController實(shí)例詳解的相關(guān)資料,非常不錯(cuò),具有參考借鑒價(jià)值,需要的朋友可以參考下
    2016-09-09
  • ios Plist文件配置方法

    ios Plist文件配置方法

    下面小編就為大家分享一篇ios Plist文件配置方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2018-02-02
  • iOS?Segment帶滑動(dòng)條切換效果

    iOS?Segment帶滑動(dòng)條切換效果

    這篇文章主要為大家詳細(xì)介紹了iOS?Segment帶滑動(dòng)條切換,文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2022-03-03
  • iOS應(yīng)用進(jìn)入后臺(tái)后計(jì)時(shí)器和位置更新停止問(wèn)題的解決辦法

    iOS應(yīng)用進(jìn)入后臺(tái)后計(jì)時(shí)器和位置更新停止問(wèn)題的解決辦法

    這篇文章主要介紹了iOS應(yīng)用進(jìn)入后臺(tái)后計(jì)時(shí)器和位置更新停止問(wèn)題的解決辦法,非常不錯(cuò),具有參考借鑒價(jià)值,需要的朋友可以參考下
    2017-03-03
  • 談?wù)刬OS中的幾種鎖

    談?wù)刬OS中的幾種鎖

    這篇文章主要介紹了談?wù)刬OS中的幾種鎖,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下。
    2016-11-11
  • iOS開發(fā)驗(yàn)證判斷語(yǔ)句之正則表達(dá)式小結(jié)

    iOS開發(fā)驗(yàn)證判斷語(yǔ)句之正則表達(dá)式小結(jié)

    最近在公司接手重構(gòu)一個(gè)項(xiàng)目,發(fā)現(xiàn)之前的開發(fā)在驗(yàn)證格式這塊寫的太亂了,到處都有相關(guān)的驗(yàn)證代碼,所以就有了這篇文章,供自己收藏也分享給有需要的朋友們參考借鑒,下面跟著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧。
    2016-12-12

最新評(píng)論