搭配8個Nvidia B300,AWS P6加速運算服務增設新的執行個體

搭配8個Nvidia B300,AWS P6加速運算服務增設新的執行個體

AWS P6-B300執行個體介紹

Amazon EC2 P6-B300執行個體搭載8個NVIDIA Blackwell Ultra GPU,提供2.1TB高頻寬GPU記憶體、6.4Tbps的EFA網路、300Gbps專用ENA吞吐量,以及4TB系統記憶體,大幅提升AI模型訓練與推論的效能。

與P6-B200執行個體對比

  • P6-B300提供2倍的網路頻寬,比P6-B200更具擴展性。
  • GPU記憶體容量為1.5倍,可支援更大規模的AI模型。
  • 在FP4運算下,GPU TFLOPS性能提升1.5倍,有效降低訓練時間與資源消耗。

適用場景

此執行個體非常適合處理兆級參數的AI基礎模型與大型語言模型,以及橫跨數千個GPU的分散式AI訓練,能有效解決GPU記憶體不足與訓練效能瓶頸問題。

相關連結

來源:https://www.ithome.com.tw/review/173743

返回頂端