当地时间 8 月 24 日，在 Hot Chips 技术大会现场，英伟达对外公布 Groq 3 LPX 机架级推理系统进入全面投产状态，这套硬件来自此前完成收购整合的 Groq 技术资产，定位 Vera Rubin 平台的配套推理加速组件，面向 AI 智能体时代的低延迟交互需求完成硬件设计。首批 Groq 3 LPX 设备将交付云服务商 Nebius，整套系统计划在 2026 下半年正式上线投入商用，与 Rubin GPU、Vera CPU 完成混合部署运行。
Groq 3 LPX 并非独立替代 GPU 的产品，整套机架内置 256 颗 Groq 3 LPU 处理器，配备 128GB 片上 SRAM，机架内部互联带宽达到 640TB/s，采用全液冷 MGX 机柜架构。硬件分工上，Rubin GPU 承接模型预填充、注意力计算等任务，Groq 3 LPX 专注解码环节的 token 高速生成，借助编译器调度实现确定性执行，降低推理过程的抖动问题，保障高并发场景之下输出速度保持稳定。这种异构协作模式，补齐通用 GPU 在大规模连续解码任务当中的短板，适配智能体反复调用工具、迭代推理的业务特征。
公开基准测试数据显示，运行 Gemma 4 31B 模型，面对十万 token 超长上下文输入，Groq 3 LPX 可以实现每秒 3400 个 token 输出，创造该模型公开测试的速度记录。针对智能体代码编写这类对响应时间敏感的业务，整套系统交互性能对比同类平台存在数倍提升。当 Groq 3 LPX 和 Vera Rubin NVL72 组合使用，万亿参数大模型每兆瓦功耗下推理吞吐量可以实现大幅提升，数据中心单位能耗能够承载更多 AI 服务请求，为云服务商开辟高端 AI 服务的商业空间。
AI 智能体的业务负载和传统对话模型存在明显区别，单次任务会产生数百到数千轮推理循环，上下文窗口持续膨胀，对硬件提出双重要求。硬件既要有能力处理海量文本上下文，又要做到每一轮输出保持极短延迟。过往依靠通用 GPU 集群搭建的推理环境，在面对大规模智能体业务时，容易出现响应变慢、成本走高的现实问题。Groq 3 LPX 的投产落地，代表行业出现专门针对解码环节优化的机架级硬件方案，为 AI 工厂处理智能体业务提供新的硬件选择。
从产业发展轨迹来看，AI 产业重心逐步从大模型训练，向大规模线上推理部署转移。市场调研机构给出的预测显示，推理相关基础设施开支占比会持续走高。英伟达通过收购获取 Groq 技术，快速完成从芯片设计到机架量产的全流程落地，把业务版图从训练算力进一步延伸到专用推理赛道。供应链相关信息反馈，Groq 3 系列 LPU 芯片未来两年出货规模会出现显著增长，服务器整机、PCB 等上下游产业链也会随之迎来订单增量。
云厂商、AI 服务商是 Groq 3 LPX 的主要目标客户，硬件适合部署面向代码智能体、复杂多步骤任务、长文档实时处理的公有云服务，同样能够用于企业自建的私有化 AI 算力集群。普通终端用户不会直接采购这套机架，硬件能力会封装在云端 API 接口之中，开发者调用接口即可体验更低时延、更高吞吐的智能体能力。
伴随 Groq 3 LPX 正式投产，Vera Rubin 平台完整硬件矩阵全部进入交付周期。异构混合算力架构会成为下一代 AI 数据中心的主流建设思路，训练、预填充、解码分别交由不同特性硬件负责。市场当中其他芯片厂商也在推出低延迟推理硬件，全球推理芯片赛道的竞争会进一步加剧。硬件量产仅仅是产业的起点，后续软件适配、模型调优、成本管控，会决定这套新硬件能够在多大范围完成普及应用。
