返回首页

AWS 发布 AAIF 参考架构:本地 SLM 编排,复杂任务路由至 Bedrock

  • 核心架构:AWS 基于 Strands Agents 发布自适应智能体智能框架(AAIF),按三层运行——本地 llama3.2:1b 作为编排器判断请求类型,常规任务(设备遥测、图像分析)交给 Ollama 上的本地 SLM,复杂模式分析与策略建议则调用 Amazon Bedrock 上的前沿模型。
  • 部署弹性:同一套代码支持全云端、混合、完全隔离三种配置;在 Raspberry Pi 等 8GB 内存设备上可运行,本地视觉分析使敏感摄像头画面无需离开设备。框架依据 NVIDIA 研究立场——小模型对智能体系统的许多调用“足够强大、更合适且更经济”。
  • 成本口径:官方称混合模式下约 80% 的流量可落在本地、不触达付费 API 端点;该比例为架构设计估算,非客户实测数据,实际收益取决于任务分布与本地硬件配置。
  • 分布式扩展:下一步计划将工具暴露为标准 MCP 服务器,让编排器、视觉处理与云分析网关分布在多台设备上,从编排器视角看远程工具如同本地函数调用。

行业意义:当 Agent 工作负载的成本与延迟成为工程瓶颈,用小型模型做本地决策、大模型做云端推理的分层模式正从研究论文走向可复用的代码模板。AAIF 的具体价值在于把路由逻辑从提示词和硬编码中拆出来,交由独立 SLM 执行分类;代价是需同时维护本地与云端两套推理栈,且编排器的分类准确率直接决定整体收益——误判复杂请求为常规任务会降低输出质量,误判常规请求为复杂任务则浪费云端调用。 🔗 AWS Machine Learning Blog

AAIF three-layer architecture with an SLM orchestrator routing requests to local processing tools or to Amazon Bedrock cloud processingStrands agent connected to an Ollama runtime and three tools, with get_expert_insights calling Amazon BedrockDistributed AAIF deployment with a Device 1 orchestrator connected through MCP to a Device 2 vision server and a Device 3 Amazon Bedrock analytics gatewayNitin EusebiusMani Khanuja