還未開放，Sora怎么就震驚了互聯(lián)網(wǎng)圈？
還未開放公眾測試，OpenAI 憑借文本生成視頻模型 Sora 制作的預告片，就把科技圈、互聯(lián)網(wǎng)、社交媒體圈給震驚了。
根據(jù) OpenAI 官方發(fā)布的視頻，Sora 能夠根據(jù)用戶提供的文本信息，生成長達 1 分鐘的復雜場景「超視頻」，不僅畫面細節(jié)逼真，這個模型還會模擬鏡頭運動感。
從已釋出的視頻效果看，業(yè)內(nèi)興奮的正是 Sora 體現(xiàn)出的理解真實世界的能力。相較其他文本到視頻的大模型，Sora 在對語義理解、畫面呈現(xiàn)、視覺連貫性和時長上都顯示出優(yōu)勢。
OpenAI 直接稱它為「世界模擬器」，宣告它能夠模擬物理世界中的人、動物和環(huán)境的特征。但該公司也承認，目前 Sora 的還不完美，依然存在理解不到位和潛在的安全問題。
因此，Sora 僅對非常少數(shù)的人開放測試，OpenAI 尚未公布 Sora 何時會向大眾開放，但它帶來的震撼足以讓研發(fā)同類模型的公司看到差距。
Sora「預告片」驚爆眾人
OpenAI 文本生成視頻模型 Sora 一出，國內(nèi)又現(xiàn)「震驚體」評價。
自媒體驚呼「現(xiàn)實不存在了」，互聯(lián)網(wǎng)大佬也吹爆了 Sora 的能力。360 創(chuàng)始人周鴻祎稱，Sora 的誕生意味著 AGI 的實現(xiàn)可能從 10 年縮短至兩年左右。短短幾天，Sora 的谷歌搜索指數(shù)迅速拉升，熱度直逼 ChatGPT。
Sora 的爆火源于 OpenAI 發(fā)布的 48 段視頻，其中時長最長的為 1 分鐘。這不僅打破了此前文生視頻模型 Gen2、Runway 生成視頻的時長極限，而且畫面清晰，甚至它還學會了鏡頭語言。
1 分鐘視頻中，一位身著紅裙的女性走在霓虹燈林立的街頭，風格寫實，畫面流暢，最令人驚艷的是女主角的特寫，連臉部的毛孔、斑點、痘印都模擬了出來，卡粉脫妝效果堪比直播關掉美顏濾鏡，脖子上的頸紋甚至精準「泄露」了年齡，與臉部狀態(tài)做到了完美統(tǒng)一。
除了對人物寫實，Sora 還能夠模擬現(xiàn)實中的動物與環(huán)境。一段視頻維多利亞冠鴿的多角度特寫，超清呈現(xiàn)了這只鳥全身至冠的藍色羽毛，甚至細微到紅色眼珠的動態(tài)和呼吸頻率，讓人很難分清這到底是 AI 生成的還是人類拍攝的。
對于非寫實的創(chuàng)意動畫，Sora 的生成效果也達到了迪士尼動畫電影的畫面感，讓網(wǎng)友擔憂起動畫師的飯碗。
而 Sora 為文本生成視頻模型帶來的改進不僅在視頻時長與畫面效果上，它還能模擬鏡頭與拍攝的運動軌跡，游戲的第一人稱視角，航拍視角，甚至是電影里的一鏡到底。
看完 OpenAI 放出的精彩視頻，你就能理解互聯(lián)網(wǎng)圈、社交媒體輿論為什么會為 Sora 感到震驚，而這些只是預告片。
OpenAI 提出「視覺補丁」數(shù)據(jù)集
那么，Sora 是如何實現(xiàn)模擬能力的？
按照 Open AI 發(fā)布的 Sora 技術報告，這個模型正在超越先前圖像數(shù)據(jù)生成模型的限制。
以往的文本生成視覺畫面的研究采用過各種方法，包括循環(huán)網(wǎng)絡、生成對抗網(wǎng)絡（GAN）、自回歸變換器和擴散模型，但共性是集中在較少的視覺數(shù)據(jù)類別、較短的視頻或固定尺寸的視頻上。
Sora 采用了一種基于 Transformer 的擴散模型，生圖過程可以分為正向過程和反向過程兩個階段，以實現(xiàn) Sora 能沿時間線向前或向后擴展視頻的能力。
正向過程階段模擬了從真實圖像到純噪點圖像的擴散過程。具體來說，模型會逐步地向圖像中添加噪點，直到圖像完全變成噪點。而反向過程是正向過程的逆過程，模型會從噪點圖像逐步恢復出原始圖像。一正一反，虛實來回，OpenAI 以這種方式讓機器 Sora 理解視覺的形成。
從全噪點到清晰圖的過程
當然，這個過程需要反復地訓練學習，模型會學習如何逐步去除噪聲并恢復圖像的細節(jié)。通過這兩個階段的迭代，Sora 的擴散模型能夠生成高質(zhì)量的圖像。這種模型在圖像生成、圖像編輯、超分辨率等領域表現(xiàn)出了優(yōu)秀的性能。
上述過程解釋了 Sora 能做到高清、超細節(jié)的原因。但從靜態(tài)的圖像到動態(tài)的視頻，仍需要模型進一步積累數(shù)據(jù)，訓練學習。
在擴散模型的基礎上，OpenAI 將視頻和圖像等所有類型的視覺數(shù)據(jù)轉換為統(tǒng)一表示，以此來對 Sora 做大規(guī)模的生成訓練。Sora 使用的表示方式被 OpenAI 定義為「視覺補?。╬atches）」，即一種更小數(shù)據(jù)單元的集合，類似于 GPT 中的文本集合。
研究者首先將視頻壓縮到一個低維潛空間中，隨后把這種表征分解為時空 patch，這是一種高度可擴展的表征形式，方便實現(xiàn)從視頻到 patch 的轉換，也正適用于訓練處理多種類型視頻和圖片的生成模型。
將視覺數(shù)據(jù)轉化為 patches
為了用更少的信息與計算量訓練 Sora，OpenAI 開發(fā)了一個視頻壓縮網(wǎng)絡，把視頻先降維到像素級別的地低維潛空間，然后再去拿壓縮過的視頻數(shù)據(jù)去生成 patches，這樣就能使輸入的信息變少，從而減少計算壓力。同時，OpenAI 還訓練了相應的解碼器模型，將壓縮后的信息映射回像素空間。
基于視覺補丁的表示方式，研究者能對 Sora 針對不同分辨率、持續(xù)時間和長寬比的視頻 / 圖像進行訓練。進入推理階段，Sora 能通過在適當大小的網(wǎng)格中排列隨機初始化的 patches 來判斷視頻邏輯、控制生成視頻的大小。
OpenAI 報告，在大規(guī)模訓練時，視頻模型就表現(xiàn)出令人興奮的功能，包括 Sora 能夠真實模擬現(xiàn)實世界中的人、動物和環(huán)境，生成高保真的視頻，同時實現(xiàn) 3D 一致性、時間一致性，從而真實模擬物理世界。
Altman 當二傳手為網(wǎng)友測試
從結果到研發(fā)過程，Sora 顯示著強大的能力，但普通用戶還無從體驗，目前只能寫好提示詞，在 X 上@OpenAI 創(chuàng)始人 Sam Altman，由他作為二傳手，幫網(wǎng)友們在 Sora 上生成視頻后放出來給公眾看效果。
這也不免令人懷疑 Sora 是否真的如 OpenAI 官方展示得那么牛。
對此，OpenAI 直言，目前模型還存在一些問題。如同早期的 GPT 一樣，現(xiàn)在的 Sora 也有「幻覺」，這種錯誤表示在以視覺為主的視頻結果上顯示地更為具象。
例如，它不能準確地模擬許多基本相互作用的物理過程，例如跑步機履帶與人的運動關系，玻璃杯破碎與杯內(nèi)液體流出的時序邏輯等等。
在下面這個「考古工作者們挖掘出一個塑料椅」的視頻片段里，塑料椅直接從沙子里「飄」了出來。
還有憑空出現(xiàn)的小狼崽，被網(wǎng)友戲稱為「狼的有絲分裂」。
它有時也分不清前后左右。
這些動態(tài)畫面中存在的紕漏似乎都在證明，Sora 仍需要對物理世界運動的邏輯去做更多的理解和訓練。此外，相比 ChatGPT 的風險，給人直觀視覺體驗的 Sora 存在的道德、安全風險更甚。
此前，文生圖模型 Midjourney 已經(jīng)告訴人類 「有圖不見得有真相」，人工智能生成的以假亂真的圖片開始成為謠言要素。身份驗證公司 iProov 的首席科學官紐維爾博士就表示，Sora 能讓「惡意行為者更容易生成高質(zhì)量的假視頻。」
可想而知，如果 Sora 生成的視頻被惡意濫用，搞在欺詐和誹謗、傳播暴力和色情上，造成的后果也難以估量，這也是 Sora 讓人在震驚之余還會害怕的原因。
OpenAI 也考慮到了 Sora 可能帶來的安全問題，這大概也是 Sora 僅對非常少數(shù)人以邀請制開放測試的原因。何時會大眾開放？OpenAI 沒有給出時間表，而從官方釋出的視頻看，其他公司追趕 Sora 模型的時間不多了。
你可能感興趣的文章
-
AI概念幣種市值已突破120億美元！Sora熱潮下LPT飆漲150%
隨著AI成為了熱門話題，區(qū)塊鏈要如何與之結合也成為投資者關注方向,據(jù)Stocklytics.com數(shù)據(jù)，目前與生成式AI相關的代幣市值已超過120億美元,更多詳細關于AI概念幣種市值已突…
2024-02-19 -
Sora Ventures投資Bitcoin Magazine 300萬！成立首個比特幣生態(tài)基金
這篇文章主要介紹了Sora Ventures投資Bitcoin Magazine 300萬！成立首個比特幣生態(tài)基金的相關資料,需要的朋友可以參考下…
2023-06-02 -
AI智能體是加密貨幣的下一個重要催化劑
許多人相信AI智能體可能會在未來幾年成為加密貨幣用戶群的大部分,你知道我們總是如何談論吸引十億新用戶嗎？好吧，隨著人工智能協(xié)議的出現(xiàn)，這十億用戶實際上可能只是AI智…
2024-02-18 -
ApeChain選中Horizen Labs！采用Arbitrum技術開發(fā) 主攻游戲
ApeCoin（$APE）社群今日完成了一項投票，決定將ApeChain的開發(fā)工作交由Horizen Labs、Arbitrum Foundation和Offchain Labs負責，他們的提案以50.35%的支持率獲勝，這表明A…
2024-02-16 -
幣安將在2/20下架XMR、MULTI、ANT、VAI！不同時代敘事的終點
幣安公告表示，將在2/20上午下架隱私幣XMR、跨鏈橋幣MULTI、Aragon(ANT)以及Vai(VAI),更多詳細資訊請看下面正文…
2024-02-07 -
Jeremy Grantham：美國經(jīng)濟衰退將至、AI泡沫將破滅、比特幣是騙局
在AI熱潮的刺激下，美股近來頻頻創(chuàng)下新高，不過有「價值型投資大師」稱號的GMO創(chuàng)辦人Jeremy Grantham近日警告，美股已被嚴重高估，美國經(jīng)濟衰退將至，AI泡沫注定將破滅，同…
2024-02-06 -
BNB Chain展望2024：One BNB策略整合BSC、opBNB、BNB Greenfield
BNB Chain釋出2024年發(fā)展計劃，借由One BNB的整合策略吸引開發(fā)者活絡生態(tài)，以達到用戶大規(guī)模采用的長期愿景,更多詳細資訊請看下面正文…
2024-02-02 -
超越技術的界限：AI+Web3 的未來發(fā)展之道
跨越技術邊界：AI與Web3的未來融合之路，隨著科技的飛速發(fā)展，人工智能（AI）與Web3的結合正在開創(chuàng)全新的未來,這種結合不僅超越了單純的技術層面，更在深層次上改變了我們…
2024-01-29 -
超越技術的界限：AI+Web3的未來發(fā)展之道
本篇文章通過10個代表性AI+Web3的項目，洞察2024年AI+Web3的可能十大發(fā)展趨勢…
2024-01-29 -
拆解ZetaChain：為何說2024是“鏈抽象”賽道發(fā)展大年？
鏈抽象是指模塊化把區(qū)塊鏈不同功能層分離成結算層、DA層、執(zhí)行層、Rollup層等等，最近，跨鏈互操作性L1公鏈zetachain發(fā)布空投引發(fā)了市場對于“鏈抽象”賽道的關注,如果模塊…
2024-01-28
