首页 快讯文章正文

AI基础设施:OpenAI-O1模型使推理需求有10~100倍增量,模型训练和推理都以万卡集群为起步状态

快讯 2024年09月19日 10:10 104 admin

来源:Gangtise投研

 AI基础设施 专家表示,OpenAI-O1模型使推理需求有10~100倍增量,模型训练和推理都以万卡集群为起步状态。推理端的带宽会接近训练端卡的组网形式。因为计算方式改变,引入新计算模式后计算复杂度(计算多样性)与训练相当,以前的推理芯片效能和能力逐渐不够,最终会回到用训练芯片做推理的状态。

标签: 推理 万卡 模型

上海衡基裕网络科技有限公司,网络热门最火问答,网络技术服务,技术服务,技术开发,技术交流www.plgjg.com 备案号:沪ICP备2023039794号 内容仅供参考 本站内容均来源于网络,如有侵权,请联系我们删除QQ:597817868