煩人的內存牆
什麼是內存牆？
內存牆（Memory Wall）是指內存性能與處理器性能之間的不匹配，導致內存成為性能瓶頸的現象。在AI發展過程中，這種瓶頸尤為明顯，因為AI模型的計算需求急劇增長，而內存帶寬的增長遠落後於處理器性能的提升。
內存牆對AI模型的影響
內存帶寬已成為AI模型訓練與推理過程中的關鍵瓶頸，尤其是在解碼器模型中，數據傳輸速度無法跟上計算需求，導致模型性能受限。這種限制在大規模語言模型的訓練中尤為突出。
技術應對方案
- 通過2.5D和3D封裝技術，將更快的內存（如HBM）更靠近CPU或GPU部署，以縮短數據傳輸距離。
- 英特爾的Sapphire Rapids Max芯片已搭載64 GiB的封裝HBM，運行速度約為~1.8 TB/s，是緩解內存牆問題的重要嘗試。
- 業界普遍認為，計算能力與數據傳輸帶寬之間的巨大差距，是限制AI芯片性能發揮的主要因素。
產業趨勢與挑戰
儘管已有技術方案，但內存牆問題仍持續存在。隨著AI算力的指數級增長，DRAM與硬件互連帶寬的增長速度遠低於計算能力的增長，這一趨勢在20年期間尤為顯著，硬件性能提升90000倍，而互連帶寬僅增長30倍。