①Meta發(fā)布開源大模型Llama 3.1,這是Meta目前為止規(guī)模最大的大語言模型,性能對標GPT-4o和Claude3.5; ②大模型開源和閉源優(yōu)劣比較時有發(fā)生,隨著Llama 3.1發(fā)布,二者獲或迎來新一輪激斗; ③英偉達同期推出組合服務,為Llama 3.1助攻。
《科創(chuàng)板日報》7月24日訊(記者 張洋洋) 扎克伯格將大模型開源進行到底。
今天凌晨,Meta正式發(fā)布新一代開源大模型Llama 3.1系列,其中包含8B、70B 和405B三個版本,最大上下文提升到了128k。
Meta創(chuàng)始人扎克伯格同時在官網(wǎng)發(fā)文為自家模型強力代言。他稱,當今大多數(shù)領先的科技公司和科學研究都是建立在開源軟件之上,開源是AI前進的方向,Meta正朝著成為開源AI行業(yè)標準的目標邁進。
需要強調的是,在科技界,關于開源和閉源的爭端由來已久。批評者認為開源掩蓋了技術原創(chuàng)性缺失,只是對開源模型簡單調整,而非實質創(chuàng)新。百度創(chuàng)始人李彥宏甚至表示開源大模型在學術研究、教學領域等特定場景下有存在的價值,但并不適用于大多數(shù)應用場景。支持者則認為,基于成熟開源架構進行定制化改進是技術發(fā)展的常態(tài),它能推動技術的快速創(chuàng)新和進步。
在大模型領域,開源和閉源大模型優(yōu)劣比較也時有發(fā)生。到目前為止,開源模型在功能和性能方面大多落后于封閉式模型。但隨著Llama 3.1的發(fā)布,大模型開源和閉源或將迎來新一輪激斗。
根據(jù)Meta提供的基準測試數(shù)據(jù),Llama 3.1有4050億參數(shù),是近年來規(guī)模最大的大語言模型之一。該模型基于15萬億個Tokens、超1.6萬個H100 GPU上進行訓練,這也是Meta有史以?第來?一個以這?規(guī)種?模進?訓行?練的Llama模型。Meta稱,在常識、可操縱性、數(shù)學、工具使用和多語言翻譯等先進功能方面,Llama 3.1足以對標GPT-4o和Claude3.5Sonnet等頂級閉源大模型。
Llama 3.1現(xiàn)已于Meta官網(wǎng)和Hugging Face開放下載。最新數(shù)據(jù)顯示,所有Llama版本的總下載量已超過3億次。
就在當天同一時間,英偉達也推出組合訓練服務,為Llama 3.1強勢助攻。
《科創(chuàng)板日報》記者從英偉達方面了解到,英偉達正式推出全新的NVIDIA AI Foundry 服務和NVIDIA NIM?推理微服務。NVIDIA AI Foundry 是由 NVIDIA DGX? Cloud AI平臺驅動,該平臺由NVIDIA與公有云共同設計,可為企業(yè)提供大量的算力資源。
NVIDIA AI Foundry 、NVIDIA NIM?配套Llama 3.1系列開源模型一起使用,企業(yè)可以為其特定領域的行業(yè)用例創(chuàng)建自定義“超級模型”。企業(yè)還可以使用自有數(shù)據(jù)以及由Llama 3.1 405B和NVIDIA Nemotron? Reward模型生成的合成數(shù)據(jù),來訓練這些超級模型。
英偉達創(chuàng)始人兼首席執(zhí)行官黃仁勛則表示,Meta 的 Llama 3.1開源模型標志著全球企業(yè)采用生成式AI的關鍵時刻已經(jīng)到來。Llama 3.1 將掀起各個企業(yè)與行業(yè)創(chuàng)建先進生成式AI應用的浪潮。NVIDIA AI Foundry已經(jīng)在整個過程中集成了Llama 3.1,并能夠幫助企業(yè)構建和部署自定義Llama超級模型。