當(dāng)前位置：主頁 > 區(qū)塊鏈 > 資訊 > 為什么Crypto可以解決開源AI的資源問題

Variant：為什么更好的AI需要Crypto

2025-01-17 23:31:54 | 來源：本站整理 | 作者：佚名

Crypto 的突破在于利用所有權(quán)使資源成本較高的開源軟件項(xiàng)目成為可能,Crypto 通過激勵(lì)具有網(wǎng)絡(luò)潛在上升空間的投機(jī)資源提供者，而不是要求開源貢獻(xiàn)者預(yù)先支付成本來提供這些資源，從而解決了開源 AI 固有的資源問題,更多詳細(xì)資訊請(qǐng)看下面正文

目前，基礎(chǔ)AI開發(fā)由少數(shù)科技公司主導(dǎo)，處于封閉和反競(jìng)爭的狀態(tài)。
開源軟件開發(fā)是另一種選擇，但基礎(chǔ)AI無法作為傳統(tǒng)的開源軟件項(xiàng)目（例如 Linux）進(jìn)行開發(fā)，因?yàn)樗嬖?ldquo;資源問題”，開源貢獻(xiàn)者還被要求捐獻(xiàn)超出個(gè)人能力范圍的計(jì)算和數(shù)據(jù)成本。
加密通過所有權(quán)激勵(lì)資源提供者為基礎(chǔ)開源 AI 項(xiàng)目做出貢獻(xiàn)，從而解決資源問題。
開源AI與加密相結(jié)合，可以支持更大的模型并推動(dòng)更多創(chuàng)新，從而帶來更好的AI。

引言

皮尤研究中心2024 年的一項(xiàng)民意調(diào)查顯示，64% 的美國人認(rèn)為社交媒體對(duì)美國產(chǎn)生了負(fù)面而非正面的影響，78% 的人表示社交媒體公司在當(dāng)今政治中擁有過大的權(quán)力和影響力，83% 的人表示這些平臺(tái)很可能或很有可能故意審查他們不同意的政治觀點(diǎn)。對(duì)社交媒體平臺(tái)的厭惡是少數(shù)幾個(gè)能團(tuán)結(jié)美國人的問題之一。

回顧過去 20 年社交媒體實(shí)驗(yàn)的進(jìn)展，我們似乎不可避免地會(huì)落得如此境地。你們都知道這個(gè)故事。少數(shù)幾家大型科技公司最初吸引了人們的注意，最重要的是，他們獲得了用戶數(shù)據(jù)。雖然最初人們希望這些數(shù)據(jù)能夠公開，但這些公司在利用這些數(shù)據(jù)建立牢不可破的網(wǎng)絡(luò)效應(yīng)后，很快就改變了方向，關(guān)閉了訪問權(quán)限。這基本上導(dǎo)致了目前的狀況，不到十家大型科技社交媒體公司在寡頭壟斷下像小封建領(lǐng)地一樣存在，沒有動(dòng)力去改變，因?yàn)楝F(xiàn)狀利潤極高。它是封閉的，反競(jìng)爭的。

看看AI實(shí)驗(yàn)?zāi)壳暗倪M(jìn)展，我感覺自己就像在重復(fù)看同一部電影，但這一次涉及的更多。少數(shù)幾家大型科技公司已經(jīng)積累了 GPU 和數(shù)據(jù)來構(gòu)建基礎(chǔ)AI模型，并封鎖了對(duì)這些模型的訪問。對(duì)于新進(jìn)入者（沒有籌集數(shù)十億美元）來說，已經(jīng)不可能構(gòu)建出競(jìng)爭版本，因?yàn)檫M(jìn)入門檻太高了——僅預(yù)訓(xùn)練一個(gè)基礎(chǔ)模型的計(jì)算資本支出就高達(dá)數(shù)十億美元，而從上一次技術(shù)繁榮中獲益的社交媒體公司正在利用他們對(duì)專有用戶數(shù)據(jù)的控制來構(gòu)建競(jìng)爭對(duì)手無法做到的模型。我們正全力以赴地在AI領(lǐng)域重現(xiàn)我們?cè)谏缃幻襟w上所做的事情：封閉和反競(jìng)爭。如果我們繼續(xù)沿著這條封閉AI的道路前進(jìn)，少數(shù)科技公司將對(duì)信息和機(jī)會(huì)的訪問擁有不受限制的控制。

開源AI與“資源問題”

如果我們不想要一個(gè)封閉的AI世界，我們的替代方案是什么？答案顯而易見，那就是將基礎(chǔ)模型構(gòu)建為開源軟件項(xiàng)目。我們有無數(shù)開源項(xiàng)目的例子，它們構(gòu)建了我們每天依賴的基礎(chǔ)軟件。如果 Linux 表明像操作系統(tǒng)這樣基本的東西也可以開源構(gòu)建，那么 LLM 又有什么不同呢？

不幸的是，基礎(chǔ)AI模型存在一些限制，使它們不同于傳統(tǒng)軟件，這嚴(yán)重阻礙了它們作為傳統(tǒng)開源軟件項(xiàng)目的可行性。具體來說，基礎(chǔ)AI模型本身就需要超出任何個(gè)人能力的計(jì)算和數(shù)據(jù)資源。結(jié)果是，與依賴人們捐獻(xiàn)時(shí)間的傳統(tǒng)開源軟件項(xiàng)目（這已經(jīng)是一個(gè)具有挑戰(zhàn)性的問題）不同，開源AI還需要人們以計(jì)算和數(shù)據(jù)的形式捐獻(xiàn)資源。這就是開源AI的“資源問題” 。

為了更好地理解資源問題，讓我們來看看 Meta 的 LLaMa 模型。Meta 與其競(jìng)爭對(duì)手（OpenAI、Google 等）的不同之處在于，它不會(huì)將模型隱藏在付費(fèi) API 后面，而是公開提供 LLaMa 的權(quán)重供任何人免費(fèi)使用（有一些限制）。這些權(quán)重代表了模型從 Meta 的訓(xùn)練過程中學(xué)到的東西，是運(yùn)行模型所必需的。有了權(quán)重，任何人都可以對(duì)模型進(jìn)行微調(diào)，或者將模型的輸出用作新模型的輸入。

雖然 Meta 公布了 LLaMa 的權(quán)重值得稱贊，但它并不是一個(gè)真正的開源軟件項(xiàng)目。Meta 在私下使用自己的計(jì)算、數(shù)據(jù)和決策來訓(xùn)練模型，并單方面決定何時(shí)向全世界開放該模型。Meta 不邀請(qǐng)獨(dú)立研究人員 / 開發(fā)人員參與社區(qū)，因?yàn)閱蝹€(gè)社區(qū)成員無法負(fù)擔(dān)訓(xùn)練或重新訓(xùn)練模型所需的計(jì)算或數(shù)據(jù)資源——數(shù)以萬計(jì)的高內(nèi)存 GPU、容納它們的數(shù)據(jù)中心、大量冷卻基礎(chǔ)設(shè)施，以及數(shù)萬億的訓(xùn)練數(shù)據(jù)代幣。正如斯坦福大學(xué) 2024 年AI指數(shù)報(bào)告所述，“培訓(xùn)費(fèi)用的不斷上漲實(shí)際上已經(jīng)將大學(xué)（傳統(tǒng)上是AI研究中心）排除在開發(fā)自己的前沿基礎(chǔ)模型之外。”為了了解成本，Sam Altman 提到 GPT-4 的培訓(xùn)成本為 1 億美元，而且可能還不包括資本支出；Meta的資本支出同比增長 21 億美元（2024 年第二季度 vs. 2023 年第二季度），主要來自對(duì)與訓(xùn)練 AI 模型相關(guān)的服務(wù)器、數(shù)據(jù)中心和網(wǎng)絡(luò)基礎(chǔ)設(shè)施的投資。因此，雖然 LLaMa 的社區(qū)貢獻(xiàn)者可能具有在基本模型架構(gòu)上做出貢獻(xiàn)和迭代的技術(shù)能力，但他們?nèi)匀蝗狈@樣做的手段。

總而言之，與傳統(tǒng)的開源軟件項(xiàng)目不同，開源軟件項(xiàng)目僅要求貢獻(xiàn)者貢獻(xiàn)時(shí)間，而開源 AI 項(xiàng)目的貢獻(xiàn)者則被要求以計(jì)算和數(shù)據(jù)的形式貢獻(xiàn)時(shí)間和大量成本。依靠善意和志愿服務(wù)來激勵(lì)足夠多的各方提供這些資源是不現(xiàn)實(shí)的。他們需要進(jìn)一步的激勵(lì)。176B 參數(shù)開源 LLM BLOOM的成功可能是善意和志愿服務(wù)對(duì)開發(fā)開源 AI 的優(yōu)點(diǎn)的最佳反例，它涉及來自 70 多個(gè)國家和 250 多個(gè)機(jī)構(gòu)的 1000 名志愿研究人員。雖然這無疑是一項(xiàng)令人印象深刻的成就（我完全支持），但協(xié)調(diào)一次訓(xùn)練運(yùn)行花了一年時(shí)間，并從法國研究機(jī)構(gòu)獲得了 300 萬歐元的資助（而且這筆費(fèi)用不包括用于訓(xùn)練模型的超級(jí)計(jì)算機(jī)的資本支出，其中一個(gè)法國機(jī)構(gòu)已經(jīng)可以使用它）。協(xié)調(diào)和依靠新?lián)芸顏淼?BLOOM 的過程過于繁瑣和官僚主義，無法與大型科技實(shí)驗(yàn)室的步伐相媲美。雖然 BLOOM 發(fā)布已有兩年多時(shí)間，但我不知道這個(gè)集體是否制作了任何后續(xù)模型。

為了使開源AI成為可能，我們需要激勵(lì)資源提供者貢獻(xiàn)他們的計(jì)算和數(shù)據(jù)，而無需開源貢獻(xiàn)者承擔(dān)費(fèi)用。

為什么Crypto可以解決開源AI的資源問題

要證明這一點(diǎn)，只需看看最初的加密項(xiàng)目比特幣。比特幣是一個(gè)開源軟件項(xiàng)目；運(yùn)行它的代碼是完全開放的，從項(xiàng)目開始的那一天起就一直如此。但代碼本身并不是秘密武器；下載并運(yùn)行比特幣節(jié)點(diǎn)軟件來創(chuàng)建僅存在于本地計(jì)算機(jī)上的區(qū)塊鏈并沒有多大用處。只有當(dāng)計(jì)算挖掘區(qū)塊的數(shù)量足夠超過任何單個(gè)貢獻(xiàn)者的計(jì)算能力時(shí)，該軟件才有用。只有這樣，軟件的增值才能實(shí)現(xiàn)：維護(hù)一個(gè)無人控制的賬本。與基金會(huì)開源 AI 一樣，比特幣也代表了一個(gè)開源軟件項(xiàng)目，它需要超出任何單個(gè)貢獻(xiàn)者能力的資源。他們可能出于不同的原因需要這種計(jì)算——比特幣是為了使網(wǎng)絡(luò)防篡改，而基金會(huì) AI 是為了迭代模型——但更廣泛的一點(diǎn)是，它們都需要超出任何單個(gè)貢獻(xiàn)者需求的資源才能作為可行的開源軟件項(xiàng)目發(fā)揮作用。

比特幣，或者說任何加密網(wǎng)絡(luò)，用來激勵(lì)參與者為開源軟件項(xiàng)目提供資源的魔術(shù)技巧是以代幣形式提供網(wǎng)絡(luò)所有權(quán)。正如 Jesse早在 2020 年為 Variant 撰寫的創(chuàng)始論文中所寫的那樣，所有權(quán)激勵(lì)資源提供者為項(xiàng)目貢獻(xiàn)資源，以換取網(wǎng)絡(luò)的潛在上行空間。這類似于如何利用汗水股權(quán)來啟動(dòng)一家剛剛起步的公司——通過主要通過對(duì)企業(yè)的所有權(quán)來支付早期員工（例如創(chuàng)始人）的工資，初創(chuàng)公司可以通過獲得原本無法負(fù)擔(dān)的勞動(dòng)力來克服啟動(dòng)問題。加密將汗水股權(quán)的概念擴(kuò)展到資源提供者，而不僅僅是那些奉獻(xiàn)時(shí)間的人。因此，Variant 專注于投資利用所有權(quán)建立網(wǎng)絡(luò)效應(yīng)的項(xiàng)目，例如 Uniswap、Morpho 和 World。

如果我們想讓開源 AI 成為可能，那么通過crypto實(shí)現(xiàn)所有權(quán)就是解決其面臨的資源問題的辦法。研究人員可以自由地將他們的模型設(shè)計(jì)想法貢獻(xiàn)給開源項(xiàng)目，因?yàn)閷?shí)現(xiàn)他們的想法所需的資源將由計(jì)算和數(shù)據(jù)提供商提供，以換取他們對(duì)項(xiàng)目的所有權(quán)，而不是要求這些研究人員支付高昂的前期成本。所有權(quán)在開源 AI 中可以采取多種不同的形式，但我最興奮的是模型本身的所有權(quán)，就像Pluralis提出的方法一樣。

Pluralis 將這種方法稱為協(xié)議模型，其中計(jì)算提供商可以貢獻(xiàn)計(jì)算資源來訓(xùn)練特定的開源模型，并獲得該模型未來推理收入的所有權(quán)。由于所有權(quán)屬于特定模型，并且所有權(quán)的價(jià)值基于推理收入，因此計(jì)算提供商有動(dòng)力選擇最佳模型，而不是欺騙訓(xùn)練（因?yàn)樘峁o用的訓(xùn)練會(huì)降低未來推理收入的預(yù)期價(jià)值）。那么問題就變成了：如果需要將權(quán)重發(fā)送給計(jì)算提供商進(jìn)行訓(xùn)練，如何在 Pluralis 上強(qiáng)制執(zhí)行所有權(quán)？答案是模型并行性用于在工作者之間分配模型分片，從而允許利用神經(jīng)網(wǎng)絡(luò)的一個(gè)關(guān)鍵屬性：可以為訓(xùn)練更大的模型做出貢獻(xiàn)，同時(shí)只能看到總權(quán)重的一小部分，從而確保完整的權(quán)重集仍然不可提取。而且由于在 Pluralis 上訓(xùn)練了許多不同的模型，訓(xùn)練者將擁有許多不同的權(quán)重集，這使得重新創(chuàng)建模型變得極其困難。這是協(xié)議模型的核心概念：它們是可訓(xùn)練的，可以使用，但無法從協(xié)議中提?。ú皇褂帽葟念^訓(xùn)練模型所需的更多的計(jì)算能力）。這解決了開源AI批評(píng)者經(jīng)常提出的一個(gè)擔(dān)憂，即封閉的AI競(jìng)爭對(duì)手將占用開放項(xiàng)目的勞動(dòng)成果。

為什么Crypto+開源=更好的AI

我在這篇文章的開頭描述了大科技公司控制的問題，以從規(guī)范的角度說明為什么封閉式AI是壞的。但在一個(gè)我們的在線體驗(yàn)帶有宿命論色彩的世界里，我擔(dān)心這對(duì)大多數(shù)讀者來說可能毫無意義。所以最后我想給出兩個(gè)理由，即由加密支持的開源AI實(shí)際上將帶來更好的人工智能。

首先，Crypto和開源 AI 的結(jié)合將使我們能夠達(dá)到下一層基礎(chǔ)模型，因?yàn)樗鼘⒈确忾]式 AI 協(xié)調(diào)更多的資源。我們目前的研究表明，以計(jì)算和數(shù)據(jù)形式存在的更多資源意味著更好的模型，這就是基礎(chǔ)模型通常會(huì)變得越來越大的原因。比特幣向我們展示了開源軟件加上加密在計(jì)算能力方面所釋放的東西。它是世界上最大、最強(qiáng)大的計(jì)算網(wǎng)絡(luò)，比大型科技公司的云大幾個(gè)數(shù)量級(jí)。加密將孤立的競(jìng)爭變成了合作競(jìng)爭。資源提供者被激勵(lì)貢獻(xiàn)他們的資源來解決集體問題，而不是囤積他們的資源來單獨(dú)（和冗余地）解決該問題。使用加密的開源 AI 將能夠利用世界集體計(jì)算和數(shù)據(jù)來構(gòu)建遠(yuǎn)遠(yuǎn)超出封閉式 AI 可能的模型大小。像Hyperbolic這樣的公司已經(jīng)展示了利用集體計(jì)算資源的力量，任何人都可以以更低的價(jià)格在他們的開放市場(chǎng)上出租 GPU。

其次，將Crypto和開源 AI 結(jié)合起來將推動(dòng)更多創(chuàng)新。這是因?yàn)椋绻覀兡軌蚩朔Y源問題，我們就可以回歸機(jī)器學(xué)習(xí)研究的高度迭代和創(chuàng)新的開源性質(zhì)。在最近推出基礎(chǔ) LLM 之前，機(jī)器學(xué)習(xí)研究人員幾十年來一直公開發(fā)布他們的模型和復(fù)制模型的藍(lán)圖。這些模型通常使用更有限的開放數(shù)據(jù)集，并且具有可管理的計(jì)算要求，這意味著任何人都可以對(duì)它們進(jìn)行迭代。正是通過這種迭代，我們?cè)谛蛄薪７矫嫒〉昧诉M(jìn)展，例如 RNN、LSTM 和注意力機(jī)制，這使得當(dāng)前基礎(chǔ) LLM 所依賴的“Transformer”模型架構(gòu)成為可能。但隨著 GPT-3 的推出（它逆轉(zhuǎn)了 GPT-2 開源的趨勢(shì)）和 ChatGPT 的巨大成功，這一切都發(fā)生了變化。這是因?yàn)?OpenAI 證明，如果你在海量模型上投入足夠的計(jì)算和數(shù)據(jù)，你就可以構(gòu)建似乎能理解人類語言的 LLM。這造成了資源問題，導(dǎo)致學(xué)術(shù)界無法負(fù)擔(dān)高昂的價(jià)格，并導(dǎo)致大型科技公司實(shí)驗(yàn)室基本停止公開發(fā)布其模型架構(gòu)以保持競(jìng)爭優(yōu)勢(shì)。目前主要依賴個(gè)別實(shí)驗(yàn)室的狀態(tài)將限制我們突破最先進(jìn)技術(shù)界限的能力。通過加密技術(shù)實(shí)現(xiàn)的開源 AI 將意味著研究人員將再次能夠在尖端模型上繼續(xù)這一迭代過程，以發(fā)現(xiàn)“下一個(gè)transformer”。

以上就是Variant：為什么更好的AI需要Crypto的詳細(xì)內(nèi)容，更多關(guān)于為什么Crypto可以解決開源AI的資源問題的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！

聲明：文章內(nèi)容不代表本站觀點(diǎn)及立場(chǎng)，不構(gòu)成本平臺(tái)任何投資建議。本文內(nèi)容僅供參考，風(fēng)險(xiǎn)自擔(dān)！

Tag：Crypto

你可能感興趣的文章

幣圈快訊

加州起訴美政府越權(quán)部署國民警衛(wèi)隊(duì)
2025-06-10 03:44
金色財(cái)經(jīng)報(bào)道，據(jù)《華盛頓郵報(bào)》，美國加利福尼亞州就特朗普政府下令向洛杉磯部署2000名國民警衛(wèi)隊(duì)一事提起訴訟。訴訟稱，特朗普無視加州州長紐森的反對(duì)，援引了一項(xiàng)允許總統(tǒng)在外國“入侵”或“叛亂”威脅美國政府的情況下召集國民警衛(wèi)隊(duì)的法律，這超越了其職權(quán)。加州總檢察長表示，該訴訟指控特朗普和美國國防部長赫格塞思違反美國憲法第十修正案。該修正案明確規(guī)定了聯(lián)邦政府權(quán)力的界限。（CCTV國際時(shí)訊）
美國財(cái)政部：外國投資者購買了價(jià)值65.02億美元的7年期美債
2025-06-10 03:34
金色財(cái)經(jīng)報(bào)道，美國財(cái)政部數(shù)據(jù)顯示，在最新的雙周報(bào)告期內(nèi)，外國投資者購買了價(jià)值65.02億美元的7年期美債，上月為46.70億美元；投資基金購買了334.91億美元的7年期美債，上個(gè)月為31.438十億美元。外國投資者購買了73.34億美元的5年期美債，上月為78.04億美元；投資基金購買了545.15億美元的5年期美債，上月為501.10億美元。外國投資者購買了59.38億美元2年期美債，上月為66.18億美元；投資基金購買了535.64億美元2年期美債，上月為509.64億美元。
美元指數(shù)9日下跌0.25%
2025-06-10 03:34
金色財(cái)經(jīng)報(bào)道，美元指數(shù)9日下跌0.25%，在匯市尾市收于98.939。
蘋果將向開發(fā)者開放底層人工智能技術(shù)
2025-06-10 02:53
金色財(cái)經(jīng)報(bào)道，蘋果公司周一表示，將為蘋果智能開放其使用的基礎(chǔ)技術(shù)。蘋果軟件主管克雷格·費(fèi)德里吉表示，該公司正在向第三方開發(fā)者開放其用于自身某些功能的基礎(chǔ)人工智能模型。在談到改進(jìn)后的Siri等一些功能的延遲時(shí)，費(fèi)德里吉表示“這項(xiàng)工作需要更多的時(shí)間來達(dá)到我們的高質(zhì)量標(biāo)準(zhǔn)。”費(fèi)德里吉還表示，蘋果計(jì)劃對(duì)其所有操作系統(tǒng)進(jìn)行設(shè)計(jì)檢修。
OpenAI年度經(jīng)常性收入突破100億美元
2025-06-10 02:13
金色財(cái)經(jīng)報(bào)道，OpenAI憑借ChatGPT的增長，年度經(jīng)常性收入突破100億美元。

欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Variant：為什么更好的AI需要Crypto