全世界最大的超算 Frontier 使用 3072 块 AMDGPU 训完超万亿参数 LLM

美国橡树岭国家实验室是全世界最大的超算Frontier，集合了37888个MI250X GPU和9472个Epyc7A53CPU。研究人员只使用8%的GPU，就训练了一个GPT-3.5规模的模型。