那個 72B 的模型
技術成就與市場反應
2026 年 3 月 10 日，Covenant AI 團隊在 arXiv 上發佈了一篇技術報告，正式宣告 Covenant-72B 完成訓練。這是一個 720 億參數的大型語言模型，超過 70 個獨立節點 peers（每輪約 20 個節點同步，每個節點配備 8 張 B200），在約 1.1 萬億 tokens 的語料上完成了 720 億參數模型的預訓練。
Templar 給出了在基準測試方面的一些數據，正如 Anthropic 聯合創始人 Jack Clark 所說，Covenant-72B 在 MMLU 上的 67.1 分，大致對標的是 Meta 2023 年發佈的 LLaMA-2-70B（65.6 分）。
更關鍵的是，這次訓練是「無需許可」的。任何人都可以接入成為參與節點，不需要事先審核，不需要白名單。超過 70 個獨立節點參與了模型更新，從全球各地連接貢獻算力。
黃仁勳的回應與類比
風投大佬 Chamath Palihapitiya 把話頭遞給了英偉達 CEO 黃仁勳，說 Bittensor 上有個項目「完成了一件相當瘋狂的技術成就」，用分佈式算力在互聯網上訓練了一個大型語言模型，過程完全去中心化，沒有任何中心化的數據中心參與。
黃仁勳的回應是把這比作「現代版的 Folding@home」，並展開討論了開源與專有模型並行共存的必要性。值得注意的是，黃仁勳沒有直接提到 Bittensor 的代幣或任何投資含義，也沒有進一步討論去中心化 AI 訓練。
去中心化訓練的價值敘事
SN3 希望利用 Bittensor 網絡協調異構計算資源的分佈式訓練，通過激勵式分佈式大模型訓練，證明無需昂貴的中心化超級計算機集群，同樣可以訓練出強大的基礎模型。核心吸引力在於「平權」——打破中心化訓練的資源壟斷，讓普通個體或中小機構也能參與大模型訓練，同時藉助分佈式算力降低訓練成本。
推動 SN3 發展的核心力量是 Templar，其背後的研究團隊為 Covenant Labs。該團隊還同時運營著另外兩個子網：Basilica（SN39，專注計算服務）和 Grail（SN81，專注 RL 後訓練與模型評估）。三個子網形成垂直整合，完整覆蓋了大模型從預訓練到對齊優化的全流程，構建起去中心化大模型訓練的完整生態。
具體而言，礦工貢獻計算資源，將梯度更新（模型參數的調整方向和力度）上傳至網絡；驗證者評估每位礦工的貢獻質量，按照誤差改善幅度給予鏈上評分。結果決定獎勵權重，自動分配，無需信任任何第三方。
激勵機制設計的關鍵是，獎勵直接掛鉤「你的貢獻讓模型變好了多少」，而非單純的算力出勤。這就從根本上解決了去中心化場景中最難的問題：如何防止礦工摸魚。
核心技術組件
SN3 用兩個核心組件解決了通信效率與激勵相容問題：
- SparseLoCo 解決通信效率問題。傳統的分佈式訓練每一步都要同步完整梯度，數據量巨大。SparseLoCo 採用的方案是：每個節點在本地跑完 30 步的內部優化（AdamW），然後把產生的「偽梯度」壓縮後再上傳給其他節點。壓縮方式包括 Top-k 稀疏化（只保留最關鍵的梯度分量）、誤差反饋（把被丟掉的部分存起來累積到下一輪）、以及 2 位量化。最終的壓縮比超過 146 倍。
換句話說，原本需要傳輸 100MB 的東西，現在不到 1MB 就夠了。這讓系統在普通互聯網（上行 110Mbps，下行 500Mbps）的帶寬限制下，把計算利用率維持在約 94.5%——20 個節點、每節點 8 塊 B200、每輪通信耗時僅 70 秒。
- Gauntlet 解決激勵相容問題。它運行在 Bittensor 區塊鏈（Subnet 3）上，負責驗證每個節點提交的偽梯度質量。具體方式是：用一小批數據測試「用上這個節點的梯度後，模型損失降低了多少」，結果稱為 LossScore。同時，系統還檢查節點是否在用自己分配到的數據訓練——如果一個節點在隨機數據上的損失改善比在自己分配數據上還好，會被打負分。
最終，每輪訓練只選取評分最高的節點的梯度參與聚合，其餘節點被淘汰出這一輪。超出的參與者會隨時補位，使系統保持穩健。整個訓練過程中，平均每輪有 16.9 個節點的梯度被納入聚合，累計參與過的唯一節點 ID 超過 70 個。
價值敘事與現實挑戰
從技術和行業視角看這件事，Covenant-72B 代表的方向有幾個真實的意義：
- 第一，打破了「分佈式訓練只適合小模型」的預設。儘管和前沿模型還差得遠，但證明了這個方向的可擴展性。
- 第二，無許可參與是真實可行的。此前的分佈式訓練項目依賴白名單——只有經過審核的參與者才能貢獻算力。SN3 這次訓練中，任何擁有足夠算力的人都可以接入，驗證機制負責過濾惡意貢獻。這是向「真正去中心化」邁出的具體一步。
- 第三，Bittensor 的 dTAO 機制讓子網價值的市場發現成為可能。dTAO 允許每個子網發行自己的 Alpha 代幣，通過 AMM 機制讓市場來決定哪些子網獲得更多的 TAO 排放。這為像 SN3 這樣產出了具體成果的子網提供了一套粗糙但有效的價值捕獲機制。當然，這套機制同樣容易被敘事和情緒干擾，LLM 訓練成果的質量很難被普通市場參與者獨立評估。
- 第四，去中心化 AI 訓練的政治經濟含義。Jack Clark 在 Import AI 中把這個問題提升到「誰擁有 AI 的未來」這個層面。當前前沿模型訓練被少數擁有大規模數據中心的機構壟斷，這不只是商業問題，也是權力結構問題。分佈式訓練如果能持續取得技術進展，有可能在某些模型類型（如特定領域的小規模前沿模型）上形成真正去中心化的開發生態。當然，這個前景目前還遠。
黃仁勳說，這像「現代版的 Folding@home」。Folding@home 在分子模擬領域做出了真實貢獻，但它沒有威脅到大型製藥公司的核心研發地位。這個類比非常準確。
SN3 跑通了協議，驗證了分佈式訓練的可行方向。但從技術和行業視角看，它交出的這份成績單背後，還有一堆很少有人願意認真討論的問題：
- MMLU 本身在學界也是一個充滿爭議的指標，公開基準的題目與答案存在洩露進訓練集的風險。
- 更值得關注的是比較基線的選取：論文所對標的 LLaMA-2-70B 與 LLM360 K2 均為 2023 至 2024 年的老模型，而同一區間的 65 至 70 分，在問及 Grok、豆包時均被歸為中下游與入門級水平，在 Claude 看來則屬嚴重落後。若將其置於動態更新的榜單或具備抗汙染設計的新一代基準之上，結論或許會更加誠實。
- 更關鍵的是，決定模型能力上限的高質量數據——對話數據、代碼、數學推導、科學文獻，大概率在各大公司、出版機構和學術數據庫手裡。算力民主化了，數據端依然是寡頭結構，這個矛盾沒有被討論過。
- 關於安全性，無許可參與意味著你不知道那 70 多個節點背後是誰，也不知道他們在用什麼數據訓練。Gauntlet 能過濾明顯異常的梯度，但無法防範微妙的數據投毒——如果一個節點系統性地在某類有害內容方向多訓練幾輪，產生的梯度變化足夠細微，能通過損失評分篩查，但對模型行為產生累積偏移。最終的問題是：在金融、醫療、法律這類高合規、安全要求的場景，使用一個由少數匿名節點參與訓練、數據來源追溯不完整的模型，會帶來怎樣的隱患？
- 還有一個結構性問題值得直說：Covenant-72B 本身以 Apache 2.0 許可證開源，不使用 SN3 代幣。持有 SN3 代幣，分享的是這個子網未來持續產出新模型所帶來的排放收益，而不是模型被使用時的任何直接收益。這個價值鏈條，依賴於持續的訓練產出，以及 Bittensor 整體網絡排放機制的健康運轉。如果未來訓練停滯，或者新的訓練成果質量不達預期，代幣的估值邏輯就會鬆動。
把這些問題列出來，不是為了否定 Covenant-72B 的意義。它證明了一件以前被認為不可能的事情可以做到，這個事實不會消失。但做到了，和它意味著什麼，是兩件不同的事情。
SN3 代幣過去一個月上漲 440%。這中間的距離，可能並非單純的炒作，而是敘事的速度總是快於現實的速度。至於這段距離最終會被現實填補，還是被市場修正消化，取決於 Covenant AI 團隊接下來真正交出什麼。
值得關注的是，Grayscale 已在 2026 年 1 月份提交 TAO ETF 申請，指向機構資本對這條賽道的進場信號。此外，2025 年 12 月 Bittensor 將每日 TAO 排放減半，供給端的結構性收緊還在發酵。