NVIDIA Dynamo 演示 Kubernetes 上的模型端点扩缩容与 OpenAI 兼容接口
- 核心内容：NVIDIA AI 发布五分钟 walkthrough，讲解已有模型端点如何用 Dynamo 在 Kubernetes 上扩展，包含 scalable workers 的部署方式，以及对外提供 OpenAI 兼容 endpoint。
- 演示范围：素材以部署流程演示为主，未给出支持模型清单、扩缩容触发条件、并发与延迟指标、硬件配置及第三方复现数据。
- 行业观察：把模型端点扩缩容与 OpenAI 兼容接口放进同一套 Kubernetes 部署演示，指向自托管推理接入方式的标准化——上层可沿用 OpenAI 接口调用，集群侧负责 worker 扩展；实际可用性仍取决于后续文档与实测结果。 🔗 NVIDIA AI 推文