內存佔用最高降低75%，美國能源部科學家提出跨通道分層聚合方法D-CHAG，實現極大規模模型多通道數據集運行
方法概述
研究人員提出了一種名為D-CHAG的跨通道分層聚合方法，通過分佈式token化與分層通道聚合，顯著降低內存佔用並提升模型運行效率。
技術實現
該方法將Token化過程進行分佈式處理，並採用分層策略進行通道聚合，有效優化了大規模模型在多通道數據集上的運行性能。
實驗評估
在高光譜成像與天氣預測任務中，D-CHAG方法與張量並行和模型分片相結合後，在Frontier超級計算機上最多可將內存佔用降低75%。
研究機構
該研究由美國橡樹嶺國家實驗室主導，屬於美國能源部支持的科研項目。