GPT-4技術報告 重點介紹GPT-4的能力、限制和安全屬性，介紹了GPT-4，一個能夠處理圖像和文本輸入并產生文本輸出的大型多模態(tài)模型。還討論了項目的一個關鍵挑戰(zhàn)，即開發(fā)在各種規(guī)模下表現(xiàn)可預測的深度學習基礎設施和優(yōu)化方。

報告了GPT-4的開發(fā)情況，這是一個大規(guī)模的多模態(tài)模型，可以接受圖像和文本輸入并產生文本輸出。雖然在許多現(xiàn)實世界的場景中，GPT-4的能力不如人類，但它在各種專業(yè)和學術基準上表現(xiàn)出人類水平的性能，包括在模擬的律師考試中，以大約前10%的考生的分數(shù)通過。GPT-4是一個基于Transformer的模型，經過預訓練可以預測文檔中的下一個標記。訓練后的調整過程導致在衡量事實性和堅持理想行為方面的表現(xiàn)得到改善。這個項目的一個核心部分是開發(fā)基礎設施和優(yōu)化方法，這些方法在廣泛的規(guī)模中表現(xiàn)得可預測。這使我們能夠根據以不超過GPT-4的1/1000的計算量訓練的模型準確地預測GPT-4的某些方面的性能。