欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

當前位置:主頁 > 區(qū)塊鏈 > 資訊 > 詳解Sora讓互聯(lián)網圈震驚

還未開放,Sora怎么就震驚了互聯(lián)網圈?

2024-02-21 14:22:57 | 來源: | 作者:佚名
還未開放公眾測試,OpenAI 憑借文本生成視頻模型 Sora 制作的預告片,就把科技圈、互聯(lián)網、社交媒體圈給震驚了,OpenAI 直接稱它為「世界模擬器」,能夠模擬物理世界中的人、動物和環(huán)境的特征,下面一起來看看正文內容

還未開放公眾測試,OpenAI 憑借文本生成視頻模型 Sora 制作的預告片,就把科技圈、互聯(lián)網、社交媒體圈給震驚了。

根據 OpenAI 官方發(fā)布的視頻,Sora 能夠根據用戶提供的文本信息,生成長達 1 分鐘的復雜場景「超視頻」,不僅畫面細節(jié)逼真,這個模型還會模擬鏡頭運動感。

從已釋出的視頻效果看,業(yè)內興奮的正是 Sora 體現出的理解真實世界的能力。相較其他文本到視頻的大模型,Sora 在對語義理解、畫面呈現、視覺連貫性和時長上都顯示出優(yōu)勢。

OpenAI 直接稱它為「世界模擬器」,宣告它能夠模擬物理世界中的人、動物和環(huán)境的特征。但該公司也承認,目前 Sora 的還不完美,依然存在理解不到位和潛在的安全問題。

因此,Sora 僅對非常少數的人開放測試,OpenAI 尚未公布 Sora 何時會向大眾開放,但它帶來的震撼足以讓研發(fā)同類模型的公司看到差距。

Sora「預告片」驚爆眾人

OpenAI 文本生成視頻模型 Sora 一出,國內又現「震驚體」評價。

自媒體驚呼「現實不存在了」,互聯(lián)網大佬也吹爆了 Sora 的能力。360 創(chuàng)始人周鴻祎稱,Sora 的誕生意味著 AGI 的實現可能從 10 年縮短至兩年左右。短短幾天,Sora 的谷歌搜索指數迅速拉升,熱度直逼 ChatGPT。

Sora 的爆火源于 OpenAI 發(fā)布的 48 段視頻,其中時長最長的為 1 分鐘。這不僅打破了此前文生視頻模型 Gen2、Runway 生成視頻的時長極限,而且畫面清晰,甚至它還學會了鏡頭語言。

1 分鐘視頻中,一位身著紅裙的女性走在霓虹燈林立的街頭,風格寫實,畫面流暢,最令人驚艷的是女主角的特寫,連臉部的毛孔、斑點、痘印都模擬了出來,卡粉脫妝效果堪比直播關掉美顏濾鏡,脖子上的頸紋甚至精準「泄露」了年齡,與臉部狀態(tài)做到了完美統(tǒng)一。

除了對人物寫實,Sora 還能夠模擬現實中的動物與環(huán)境。一段視頻維多利亞冠鴿的多角度特寫,超清呈現了這只鳥全身至冠的藍色羽毛,甚至細微到紅色眼珠的動態(tài)和呼吸頻率,讓人很難分清這到底是 AI 生成的還是人類拍攝的。

對于非寫實的創(chuàng)意動畫,Sora 的生成效果也達到了迪士尼動畫電影的畫面感,讓網友擔憂起動畫師的飯碗。

而 Sora 為文本生成視頻模型帶來的改進不僅在視頻時長與畫面效果上,它還能模擬鏡頭與拍攝的運動軌跡,游戲的第一人稱視角,航拍視角,甚至是電影里的一鏡到底。

看完 OpenAI 放出的精彩視頻,你就能理解互聯(lián)網圈、社交媒體輿論為什么會為 Sora 感到震驚,而這些只是預告片。

OpenAI 提出「視覺補丁」數據集

那么,Sora 是如何實現模擬能力的?

按照 Open AI 發(fā)布的 Sora 技術報告,這個模型正在超越先前圖像數據生成模型的限制。

以往的文本生成視覺畫面的研究采用過各種方法,包括循環(huán)網絡、生成對抗網絡(GAN)、自回歸變換器和擴散模型,但共性是集中在較少的視覺數據類別、較短的視頻或固定尺寸的視頻上。

Sora 采用了一種基于 Transformer 的擴散模型,生圖過程可以分為正向過程和反向過程兩個階段,以實現 Sora 能沿時間線向前或向后擴展視頻的能力。

正向過程階段模擬了從真實圖像到純噪點圖像的擴散過程。具體來說,模型會逐步地向圖像中添加噪點,直到圖像完全變成噪點。而反向過程是正向過程的逆過程,模型會從噪點圖像逐步恢復出原始圖像。一正一反,虛實來回,OpenAI 以這種方式讓機器 Sora 理解視覺的形成。

從全噪點到清晰圖的過程

當然,這個過程需要反復地訓練學習,模型會學習如何逐步去除噪聲并恢復圖像的細節(jié)。通過這兩個階段的迭代,Sora 的擴散模型能夠生成高質量的圖像。這種模型在圖像生成、圖像編輯、超分辨率等領域表現出了優(yōu)秀的性能。

上述過程解釋了 Sora 能做到高清、超細節(jié)的原因。但從靜態(tài)的圖像到動態(tài)的視頻,仍需要模型進一步積累數據,訓練學習。

在擴散模型的基礎上,OpenAI 將視頻和圖像等所有類型的視覺數據轉換為統(tǒng)一表示,以此來對 Sora 做大規(guī)模的生成訓練。Sora 使用的表示方式被 OpenAI 定義為「視覺補?。╬atches)」,即一種更小數據單元的集合,類似于 GPT 中的文本集合。

研究者首先將視頻壓縮到一個低維潛空間中,隨后把這種表征分解為時空 patch,這是一種高度可擴展的表征形式,方便實現從視頻到 patch 的轉換,也正適用于訓練處理多種類型視頻和圖片的生成模型。

將視覺數據轉化為 patches

為了用更少的信息與計算量訓練 Sora,OpenAI 開發(fā)了一個視頻壓縮網絡,把視頻先降維到像素級別的地低維潛空間,然后再去拿壓縮過的視頻數據去生成 patches,這樣就能使輸入的信息變少,從而減少計算壓力。同時,OpenAI 還訓練了相應的解碼器模型,將壓縮后的信息映射回像素空間。

基于視覺補丁的表示方式,研究者能對 Sora 針對不同分辨率、持續(xù)時間和長寬比的視頻 / 圖像進行訓練。進入推理階段,Sora 能通過在適當大小的網格中排列隨機初始化的 patches 來判斷視頻邏輯、控制生成視頻的大小。

OpenAI 報告,在大規(guī)模訓練時,視頻模型就表現出令人興奮的功能,包括 Sora 能夠真實模擬現實世界中的人、動物和環(huán)境,生成高保真的視頻,同時實現 3D 一致性、時間一致性,從而真實模擬物理世界。

Altman 當二傳手為網友測試

從結果到研發(fā)過程,Sora 顯示著強大的能力,但普通用戶還無從體驗,目前只能寫好提示詞,在 X 上@OpenAI 創(chuàng)始人 Sam Altman,由他作為二傳手,幫網友們在 Sora 上生成視頻后放出來給公眾看效果。

這也不免令人懷疑 Sora 是否真的如 OpenAI 官方展示得那么牛。

對此,OpenAI 直言,目前模型還存在一些問題。如同早期的 GPT 一樣,現在的 Sora 也有「幻覺」,這種錯誤表示在以視覺為主的視頻結果上顯示地更為具象。

例如,它不能準確地模擬許多基本相互作用的物理過程,例如跑步機履帶與人的運動關系,玻璃杯破碎與杯內液體流出的時序邏輯等等。

在下面這個「考古工作者們挖掘出一個塑料椅」的視頻片段里,塑料椅直接從沙子里「飄」了出來。

還有憑空出現的小狼崽,被網友戲稱為「狼的有絲分裂」。

它有時也分不清前后左右。

這些動態(tài)畫面中存在的紕漏似乎都在證明,Sora 仍需要對物理世界運動的邏輯去做更多的理解和訓練。此外,相比 ChatGPT 的風險,給人直觀視覺體驗的 Sora 存在的道德、安全風險更甚。

此前,文生圖模型 Midjourney 已經告訴人類 「有圖不見得有真相」,人工智能生成的以假亂真的圖片開始成為謠言要素。身份驗證公司 iProov 的首席科學官紐維爾博士就表示,Sora 能讓「惡意行為者更容易生成高質量的假視頻?!?/p>

可想而知,如果 Sora 生成的視頻被惡意濫用,搞在欺詐和誹謗、傳播暴力和色情上,造成的后果也難以估量,這也是 Sora 讓人在震驚之余還會害怕的原因。

OpenAI 也考慮到了 Sora 可能帶來的安全問題,這大概也是 Sora 僅對非常少數人以邀請制開放測試的原因。何時會大眾開放?OpenAI 沒有給出時間表,而從官方釋出的視頻看,其他公司追趕 Sora 模型的時間不多了。

聲明:文章內容不代表本站觀點及立場,不構成本平臺任何投資建議。本文內容僅供參考,風險自擔!
Tag:Sora  

你可能感興趣的文章

幣圈快訊

  • 特朗普:不擔心會爆發(fā)地區(qū)戰(zhàn)爭

    2025-06-14 00:14
    ChainCatcher消息,美國總統(tǒng)特朗普周五在接受路透社電話采訪時表示,目前尚不清楚以色列襲擊伊朗后伊朗是否仍保留核計劃。特朗普表示,“美國仍計劃在周日與伊朗進行核談判,但不確定談判是否仍會舉行。伊朗現在達成協(xié)議還為時不晚。并不擔心以色列的空襲會導致地區(qū)戰(zhàn)爭爆發(fā)?!?金十)
  • 分析:比特幣需站穩(wěn)10萬美元上方才能維持上漲趨勢

    2025-06-14 00:08
    金色財經報道,加密分析師Ali發(fā)布圖表分析稱,BTC需要保持在100,000美元以上,才能維持突破該通道的走勢。如果跌破100,000美元,價格可能會下探至通道下軌78,500美元附近。
  • 伊朗總統(tǒng):伊朗將對以色列襲擊采取正當且有力回應

    2025-06-14 00:01
    金色財經報道,據新華社援引伊朗伊斯蘭共和國通訊社13日報道說,伊朗總統(tǒng)佩澤希齊揚當天譴責以色列對伊朗的襲擊,并表示伊朗將采取正當且有力回應。佩澤希齊揚說,以色列當天對包括德黑蘭在內的多個伊朗城市發(fā)動襲擊,造成包括婦女兒童、無辜平民、軍事指揮官和核專家在內的人員傷亡。面對以色列的野蠻行徑,伊朗不會保持沉默,將采取正當且有力回應。
  • 伊朗多地傳出爆炸聲并冒出濃煙

    2025-06-14 00:00
    金色財經報道,據央視新聞,當地時間13日,伊朗北部庫姆、西北部霍拉姆達雷、中部加姆薩爾傳出爆炸聲并冒出濃煙。德黑蘭西部也再次傳出爆炸聲。
  • 美國務院官員:美在以色列襲擊伊朗前成立了特別工作組

    2025-06-13 23:59
    金色財經報道,據央視新聞,當地時間13日記者獲悉,兩名美國國務院官員表示,在以色列對伊朗核設施發(fā)動襲擊之前,美國國務院已于12日成立了一個特別工作組,負責跟蹤事態(tài)發(fā)展并協(xié)調美國從中東撤離所需的一切工作。另據知情人士表示,美國總統(tǒng)特朗普12日與以色列總理內塔尼亞胡多次通話,包括在以色列對伊朗發(fā)動打擊之前。
  • 查看更多