Mythos架構被22歲小夥「逆推」開源了,MoE和注意力借鑑DeepSeek
事件背景
一位22歲的年輕人成功逆推了Claude Mythos架構,並將其開源為「OpenMythos」,整合了公開研究與當前對Claude Mythos架構的主流技術推測。
技術細節
- 該架構在多專家(MoE)和注意力機制的設計上,借鑑了DeepSeek的思路。
- OpenMythos不依賴參數堆疊,而是通過「循環思考」16次實現推理,展現出高效推理能力。
- 此技術突破挑戰了閉源實驗室的護城河,引發AI大模型圈廣泛關注。
影響與反響
這一舉動在技術圈引發熱議,被視為對閉源模型架構的一次重要挑戰,也反映出開源社區在AI模型研究中的影響力日益增強。
