Bittensor子網完成歷史最大規模LLM預訓練,DeAI敘事迴歸

Bittensor子網完成歷史最大規模LLM預訓練,DeAI敘事迴歸

模型訓練與技術細節

BlockBeats 消息,3 月 16 日,據官方消息,Bittensor 子網 Templar(SN3) 已於 3 月 10 日完成史上最大去中心化 LLM Covenant-72B 預訓練。社區支持者認為這一事件證明了 Bittensor 不是「概念幣」,而是能真正生產頂級 AI 模型的去中心化基礎設施。

據悉,Covenant-72B 是一個擁有 720 億參數的語言模型,由 Templar 團隊在 Bittensor 子網 3 上預訓練而成,完全基於通用互聯網,無需集中式數據中心。該模型在 MMLU(零樣本)測試中取得了 67.1 分,在相同的評估條件下超越了 LLaMA-2-70B 和 LLM360 K2 等集中式基線模型。

它是迄今為止規模最大的完全無需許可參與的協作式語言模型,在整個運行過程中,超過 70 個不同的節點貢獻了計算資源。該團隊已根據 Apache 許可證發佈了所有權重和檢查點。

市場反應與代幣表現

或受此消息影響,Bittensor(TAO)及其子網代幣普漲,TAO 近兩週漲 54.8%。子網代幣τemplar 近 7 日漲幅 194%,現報 19.3 美元。

相關背景與生態發展

Bittensor 項目的發展重點包括:子網(subnet)的建設,目前共有32 個子網,每個都有專門的用例。參與子網的節點通過貢獻算力參與去中心化 AI 訓練,形成去中心化 AI(DeAI)基礎設施。

在去中心化 AI 基礎設施領域,Bittensor 正逐步形成新勢力,其理念基於達爾文優勝劣汰原理,讓各子網充分競爭,提升整體網絡效率。

來源:https://m.theblockbeats.info/flash/336405

返回頂端