當(dāng)前位置：主頁 > 區(qū)塊鏈 > 資訊 > 為什么Crypto可以解決開源AI的資源問題

Variant：為什么更好的AI需要Crypto

2025-01-17 23:31:54 | 來源：本站整理 | 作者：佚名

Crypto 的突破在于利用所有權(quán)使資源成本較高的開源軟件項(xiàng)目成為可能,Crypto 通過激勵具有網(wǎng)絡(luò)潛在上升空間的投機(jī)資源提供者，而不是要求開源貢獻(xiàn)者預(yù)先支付成本來提供這些資源，從而解決了開源 AI 固有的資源問題,更多詳細(xì)資訊請看下面正文

目前，基礎(chǔ)AI開發(fā)由少數(shù)科技公司主導(dǎo)，處于封閉和反競爭的狀態(tài)。
開源軟件開發(fā)是另一種選擇，但基礎(chǔ)AI無法作為傳統(tǒng)的開源軟件項(xiàng)目（例如 Linux）進(jìn)行開發(fā)，因?yàn)樗嬖?ldquo;資源問題”，開源貢獻(xiàn)者還被要求捐獻(xiàn)超出個人能力范圍的計(jì)算和數(shù)據(jù)成本。
加密通過所有權(quán)激勵資源提供者為基礎(chǔ)開源 AI 項(xiàng)目做出貢獻(xiàn)，從而解決資源問題。
開源AI與加密相結(jié)合，可以支持更大的模型并推動更多創(chuàng)新，從而帶來更好的AI。

引言

皮尤研究中心2024 年的一項(xiàng)民意調(diào)查顯示，64% 的美國人認(rèn)為社交媒體對美國產(chǎn)生了負(fù)面而非正面的影響，78% 的人表示社交媒體公司在當(dāng)今政治中擁有過大的權(quán)力和影響力，83% 的人表示這些平臺很可能或很有可能故意審查他們不同意的政治觀點(diǎn)。對社交媒體平臺的厭惡是少數(shù)幾個能團(tuán)結(jié)美國人的問題之一。

回顧過去 20 年社交媒體實(shí)驗(yàn)的進(jìn)展，我們似乎不可避免地會落得如此境地。你們都知道這個故事。少數(shù)幾家大型科技公司最初吸引了人們的注意，最重要的是，他們獲得了用戶數(shù)據(jù)。雖然最初人們希望這些數(shù)據(jù)能夠公開，但這些公司在利用這些數(shù)據(jù)建立牢不可破的網(wǎng)絡(luò)效應(yīng)后，很快就改變了方向，關(guān)閉了訪問權(quán)限。這基本上導(dǎo)致了目前的狀況，不到十家大型科技社交媒體公司在寡頭壟斷下像小封建領(lǐng)地一樣存在，沒有動力去改變，因?yàn)楝F(xiàn)狀利潤極高。它是封閉的，反競爭的。

看看AI實(shí)驗(yàn)?zāi)壳暗倪M(jìn)展，我感覺自己就像在重復(fù)看同一部電影，但這一次涉及的更多。少數(shù)幾家大型科技公司已經(jīng)積累了 GPU 和數(shù)據(jù)來構(gòu)建基礎(chǔ)AI模型，并封鎖了對這些模型的訪問。對于新進(jìn)入者（沒有籌集數(shù)十億美元）來說，已經(jīng)不可能構(gòu)建出競爭版本，因?yàn)檫M(jìn)入門檻太高了——僅預(yù)訓(xùn)練一個基礎(chǔ)模型的計(jì)算資本支出就高達(dá)數(shù)十億美元，而從上一次技術(shù)繁榮中獲益的社交媒體公司正在利用他們對專有用戶數(shù)據(jù)的控制來構(gòu)建競爭對手無法做到的模型。我們正全力以赴地在AI領(lǐng)域重現(xiàn)我們在社交媒體上所做的事情：封閉和反競爭。如果我們繼續(xù)沿著這條封閉AI的道路前進(jìn)，少數(shù)科技公司將對信息和機(jī)會的訪問擁有不受限制的控制。

開源AI與“資源問題”

如果我們不想要一個封閉的AI世界，我們的替代方案是什么？答案顯而易見，那就是將基礎(chǔ)模型構(gòu)建為開源軟件項(xiàng)目。我們有無數(shù)開源項(xiàng)目的例子，它們構(gòu)建了我們每天依賴的基礎(chǔ)軟件。如果 Linux 表明像操作系統(tǒng)這樣基本的東西也可以開源構(gòu)建，那么 LLM 又有什么不同呢？

不幸的是，基礎(chǔ)AI模型存在一些限制，使它們不同于傳統(tǒng)軟件，這嚴(yán)重阻礙了它們作為傳統(tǒng)開源軟件項(xiàng)目的可行性。具體來說，基礎(chǔ)AI模型本身就需要超出任何個人能力的計(jì)算和數(shù)據(jù)資源。結(jié)果是，與依賴人們捐獻(xiàn)時間的傳統(tǒng)開源軟件項(xiàng)目（這已經(jīng)是一個具有挑戰(zhàn)性的問題）不同，開源AI還需要人們以計(jì)算和數(shù)據(jù)的形式捐獻(xiàn)資源。這就是開源AI的“資源問題” 。

為了更好地理解資源問題，讓我們來看看 Meta 的 LLaMa 模型。Meta 與其競爭對手（OpenAI、Google 等）的不同之處在于，它不會將模型隱藏在付費(fèi) API 后面，而是公開提供 LLaMa 的權(quán)重供任何人免費(fèi)使用（有一些限制）。這些權(quán)重代表了模型從 Meta 的訓(xùn)練過程中學(xué)到的東西，是運(yùn)行模型所必需的。有了權(quán)重，任何人都可以對模型進(jìn)行微調(diào)，或者將模型的輸出用作新模型的輸入。

雖然 Meta 公布了 LLaMa 的權(quán)重值得稱贊，但它并不是一個真正的開源軟件項(xiàng)目。Meta 在私下使用自己的計(jì)算、數(shù)據(jù)和決策來訓(xùn)練模型，并單方面決定何時向全世界開放該模型。Meta 不邀請獨(dú)立研究人員 / 開發(fā)人員參與社區(qū)，因?yàn)閱蝹€社區(qū)成員無法負(fù)擔(dān)訓(xùn)練或重新訓(xùn)練模型所需的計(jì)算或數(shù)據(jù)資源——數(shù)以萬計(jì)的高內(nèi)存 GPU、容納它們的數(shù)據(jù)中心、大量冷卻基礎(chǔ)設(shè)施，以及數(shù)萬億的訓(xùn)練數(shù)據(jù)代幣。正如斯坦福大學(xué) 2024 年AI指數(shù)報(bào)告所述，“培訓(xùn)費(fèi)用的不斷上漲實(shí)際上已經(jīng)將大學(xué)（傳統(tǒng)上是AI研究中心）排除在開發(fā)自己的前沿基礎(chǔ)模型之外。”為了了解成本，Sam Altman 提到 GPT-4 的培訓(xùn)成本為 1 億美元，而且可能還不包括資本支出；Meta的資本支出同比增長 21 億美元（2024 年第二季度 vs. 2023 年第二季度），主要來自對與訓(xùn)練 AI 模型相關(guān)的服務(wù)器、數(shù)據(jù)中心和網(wǎng)絡(luò)基礎(chǔ)設(shè)施的投資。因此，雖然 LLaMa 的社區(qū)貢獻(xiàn)者可能具有在基本模型架構(gòu)上做出貢獻(xiàn)和迭代的技術(shù)能力，但他們?nèi)匀蝗狈@樣做的手段。

總而言之，與傳統(tǒng)的開源軟件項(xiàng)目不同，開源軟件項(xiàng)目僅要求貢獻(xiàn)者貢獻(xiàn)時間，而開源 AI 項(xiàng)目的貢獻(xiàn)者則被要求以計(jì)算和數(shù)據(jù)的形式貢獻(xiàn)時間和大量成本。依靠善意和志愿服務(wù)來激勵足夠多的各方提供這些資源是不現(xiàn)實(shí)的。他們需要進(jìn)一步的激勵。176B 參數(shù)開源 LLM BLOOM的成功可能是善意和志愿服務(wù)對開發(fā)開源 AI 的優(yōu)點(diǎn)的最佳反例，它涉及來自 70 多個國家和 250 多個機(jī)構(gòu)的 1000 名志愿研究人員。雖然這無疑是一項(xiàng)令人印象深刻的成就（我完全支持），但協(xié)調(diào)一次訓(xùn)練運(yùn)行花了一年時間，并從法國研究機(jī)構(gòu)獲得了 300 萬歐元的資助（而且這筆費(fèi)用不包括用于訓(xùn)練模型的超級計(jì)算機(jī)的資本支出，其中一個法國機(jī)構(gòu)已經(jīng)可以使用它）。協(xié)調(diào)和依靠新?lián)芸顏淼?BLOOM 的過程過于繁瑣和官僚主義，無法與大型科技實(shí)驗(yàn)室的步伐相媲美。雖然 BLOOM 發(fā)布已有兩年多時間，但我不知道這個集體是否制作了任何后續(xù)模型。

為了使開源AI成為可能，我們需要激勵資源提供者貢獻(xiàn)他們的計(jì)算和數(shù)據(jù)，而無需開源貢獻(xiàn)者承擔(dān)費(fèi)用。

為什么Crypto可以解決開源AI的資源問題

要證明這一點(diǎn)，只需看看最初的加密項(xiàng)目比特幣。比特幣是一個開源軟件項(xiàng)目；運(yùn)行它的代碼是完全開放的，從項(xiàng)目開始的那一天起就一直如此。但代碼本身并不是秘密武器；下載并運(yùn)行比特幣節(jié)點(diǎn)軟件來創(chuàng)建僅存在于本地計(jì)算機(jī)上的區(qū)塊鏈并沒有多大用處。只有當(dāng)計(jì)算挖掘區(qū)塊的數(shù)量足夠超過任何單個貢獻(xiàn)者的計(jì)算能力時，該軟件才有用。只有這樣，軟件的增值才能實(shí)現(xiàn)：維護(hù)一個無人控制的賬本。與基金會開源 AI 一樣，比特幣也代表了一個開源軟件項(xiàng)目，它需要超出任何單個貢獻(xiàn)者能力的資源。他們可能出于不同的原因需要這種計(jì)算——比特幣是為了使網(wǎng)絡(luò)防篡改，而基金會 AI 是為了迭代模型——但更廣泛的一點(diǎn)是，它們都需要超出任何單個貢獻(xiàn)者需求的資源才能作為可行的開源軟件項(xiàng)目發(fā)揮作用。

比特幣，或者說任何加密網(wǎng)絡(luò)，用來激勵參與者為開源軟件項(xiàng)目提供資源的魔術(shù)技巧是以代幣形式提供網(wǎng)絡(luò)所有權(quán)。正如 Jesse早在 2020 年為 Variant 撰寫的創(chuàng)始論文中所寫的那樣，所有權(quán)激勵資源提供者為項(xiàng)目貢獻(xiàn)資源，以換取網(wǎng)絡(luò)的潛在上行空間。這類似于如何利用汗水股權(quán)來啟動一家剛剛起步的公司——通過主要通過對企業(yè)的所有權(quán)來支付早期員工（例如創(chuàng)始人）的工資，初創(chuàng)公司可以通過獲得原本無法負(fù)擔(dān)的勞動力來克服啟動問題。加密將汗水股權(quán)的概念擴(kuò)展到資源提供者，而不僅僅是那些奉獻(xiàn)時間的人。因此，Variant 專注于投資利用所有權(quán)建立網(wǎng)絡(luò)效應(yīng)的項(xiàng)目，例如 Uniswap、Morpho 和 World。

如果我們想讓開源 AI 成為可能，那么通過crypto實(shí)現(xiàn)所有權(quán)就是解決其面臨的資源問題的辦法。研究人員可以自由地將他們的模型設(shè)計(jì)想法貢獻(xiàn)給開源項(xiàng)目，因?yàn)閷?shí)現(xiàn)他們的想法所需的資源將由計(jì)算和數(shù)據(jù)提供商提供，以換取他們對項(xiàng)目的所有權(quán)，而不是要求這些研究人員支付高昂的前期成本。所有權(quán)在開源 AI 中可以采取多種不同的形式，但我最興奮的是模型本身的所有權(quán)，就像Pluralis提出的方法一樣。

Pluralis 將這種方法稱為協(xié)議模型，其中計(jì)算提供商可以貢獻(xiàn)計(jì)算資源來訓(xùn)練特定的開源模型，并獲得該模型未來推理收入的所有權(quán)。由于所有權(quán)屬于特定模型，并且所有權(quán)的價值基于推理收入，因此計(jì)算提供商有動力選擇最佳模型，而不是欺騙訓(xùn)練（因?yàn)樘峁o用的訓(xùn)練會降低未來推理收入的預(yù)期價值）。那么問題就變成了：如果需要將權(quán)重發(fā)送給計(jì)算提供商進(jìn)行訓(xùn)練，如何在 Pluralis 上強(qiáng)制執(zhí)行所有權(quán)？答案是模型并行性用于在工作者之間分配模型分片，從而允許利用神經(jīng)網(wǎng)絡(luò)的一個關(guān)鍵屬性：可以為訓(xùn)練更大的模型做出貢獻(xiàn)，同時只能看到總權(quán)重的一小部分，從而確保完整的權(quán)重集仍然不可提取。而且由于在 Pluralis 上訓(xùn)練了許多不同的模型，訓(xùn)練者將擁有許多不同的權(quán)重集，這使得重新創(chuàng)建模型變得極其困難。這是協(xié)議模型的核心概念：它們是可訓(xùn)練的，可以使用，但無法從協(xié)議中提?。ú皇褂帽葟念^訓(xùn)練模型所需的更多的計(jì)算能力）。這解決了開源AI批評者經(jīng)常提出的一個擔(dān)憂，即封閉的AI競爭對手將占用開放項(xiàng)目的勞動成果。

為什么Crypto+開源=更好的AI

我在這篇文章的開頭描述了大科技公司控制的問題，以從規(guī)范的角度說明為什么封閉式AI是壞的。但在一個我們的在線體驗(yàn)帶有宿命論色彩的世界里，我擔(dān)心這對大多數(shù)讀者來說可能毫無意義。所以最后我想給出兩個理由，即由加密支持的開源AI實(shí)際上將帶來更好的人工智能。

首先，Crypto和開源 AI 的結(jié)合將使我們能夠達(dá)到下一層基礎(chǔ)模型，因?yàn)樗鼘⒈确忾]式 AI 協(xié)調(diào)更多的資源。我們目前的研究表明，以計(jì)算和數(shù)據(jù)形式存在的更多資源意味著更好的模型，這就是基礎(chǔ)模型通常會變得越來越大的原因。比特幣向我們展示了開源軟件加上加密在計(jì)算能力方面所釋放的東西。它是世界上最大、最強(qiáng)大的計(jì)算網(wǎng)絡(luò)，比大型科技公司的云大幾個數(shù)量級。加密將孤立的競爭變成了合作競爭。資源提供者被激勵貢獻(xiàn)他們的資源來解決集體問題，而不是囤積他們的資源來單獨(dú)（和冗余地）解決該問題。使用加密的開源 AI 將能夠利用世界集體計(jì)算和數(shù)據(jù)來構(gòu)建遠(yuǎn)遠(yuǎn)超出封閉式 AI 可能的模型大小。像Hyperbolic這樣的公司已經(jīng)展示了利用集體計(jì)算資源的力量，任何人都可以以更低的價格在他們的開放市場上出租 GPU。

其次，將Crypto和開源 AI 結(jié)合起來將推動更多創(chuàng)新。這是因?yàn)?，如果我們能夠克服資源問題，我們就可以回歸機(jī)器學(xué)習(xí)研究的高度迭代和創(chuàng)新的開源性質(zhì)。在最近推出基礎(chǔ) LLM 之前，機(jī)器學(xué)習(xí)研究人員幾十年來一直公開發(fā)布他們的模型和復(fù)制模型的藍(lán)圖。這些模型通常使用更有限的開放數(shù)據(jù)集，并且具有可管理的計(jì)算要求，這意味著任何人都可以對它們進(jìn)行迭代。正是通過這種迭代，我們在序列建模方面取得了進(jìn)展，例如 RNN、LSTM 和注意力機(jī)制，這使得當(dāng)前基礎(chǔ) LLM 所依賴的“Transformer”模型架構(gòu)成為可能。但隨著 GPT-3 的推出（它逆轉(zhuǎn)了 GPT-2 開源的趨勢）和 ChatGPT 的巨大成功，這一切都發(fā)生了變化。這是因?yàn)?OpenAI 證明，如果你在海量模型上投入足夠的計(jì)算和數(shù)據(jù)，你就可以構(gòu)建似乎能理解人類語言的 LLM。這造成了資源問題，導(dǎo)致學(xué)術(shù)界無法負(fù)擔(dān)高昂的價格，并導(dǎo)致大型科技公司實(shí)驗(yàn)室基本停止公開發(fā)布其模型架構(gòu)以保持競爭優(yōu)勢。目前主要依賴個別實(shí)驗(yàn)室的狀態(tài)將限制我們突破最先進(jìn)技術(shù)界限的能力。通過加密技術(shù)實(shí)現(xiàn)的開源 AI 將意味著研究人員將再次能夠在尖端模型上繼續(xù)這一迭代過程，以發(fā)現(xiàn)“下一個transformer”。

以上就是Variant：為什么更好的AI需要Crypto的詳細(xì)內(nèi)容，更多關(guān)于為什么Crypto可以解決開源AI的資源問題的資料請關(guān)注腳本之家其它相關(guān)文章！

聲明：文章內(nèi)容不代表本站觀點(diǎn)及立場，不構(gòu)成本平臺任何投資建議。本文內(nèi)容僅供參考，風(fēng)險自擔(dān)！

Tag：Crypto

你可能感興趣的文章

幣名
最新價格
24H漲幅
BTC
比特幣

$ 115472.58￥ 832360.99

-2.61%
ETH
以太坊

$ 3670.44￥ 26457.63

-4.95%
XRP
瑞波幣

$ 2.9579￥ 21.3214

-5.95%
USDT
泰達(dá)幣

$ 0.9998￥ 7.2068

+0.01%
BNB
幣安幣

$ 776.3￥ 5595.8

-3.23%
SOL
Solana

$ 168.5￥ 1214.59

-6.91%
USDC
USD Coin

$ 0.9999￥ 7.2075

+0.01%
TRX
波場

$ 0.3256￥ 2.347

-0.37%
DOGE
狗狗幣

$ 0.2053￥ 1.4798

-7.98%
ADA
艾達(dá)幣

$ 0.7238￥ 5.2173

-7.5%

欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Variant：為什么更好的AI需要Crypto