vLLM 维护者成立 Inferact，融资 1.5 亿美元
- 项目起源：2022 年，伯克利博士生 Woosuk Kwon 试图让 Meta 的 OPT-175B 推理更快；该项目后来发展为 vLLM，目前有约 3,000 名贡献者。
- 运行规模：a16z 称 vLLM 当前在全球约 50 万块 GPU 上运行；Google、Amazon 与 Meta 均在生产环境使用。早期用户伯克利邻居 Arena 将其 GPU 需求减半。
- 技术路径：团队从操作系统中借用“虚拟内存”思路，按需分配显存，使单张 GPU 能同时处理不同尺寸的请求。
- 组织进展：核心维护者于今年 1 月成立 Inferact，融资 1.5 亿美元，为 vLLM 建立全职团队。
- 行业意义：推理引擎从学术项目演化为跨云、跨硬件的基础设施，并开始以公司形式承接长期维护与生态扩展。 🔗 a16z 推文