AWS 为 Nova Act QA Studio 增加应用分组、健康指标与团队权限
- 核心更新:QA Studio 新增 applications 作为测试用例与测试套件的容器,每个应用归属一个团队并继承其所有权;创建时填写名称、base URL 与可选环境(开发、预发、生产)。
- 指标与健康评分:每次执行结果写入 CloudWatch 自定义指标,按应用与环境维度统计;应用页展示选定窗口内通过率、执行次数、失败数及 0–100 健康分,后者从通过率出发并对 flaky 测试扣分。指标页支持 7 天小时粒度或 30 天日粒度趋势,并提供 flaky tests 排名与最近失败列表,可跳转至 Nova Act 轨迹日志和会话录制。
- 权限模型:团队角色分为 Admin、Team Lead、Editor、Executor、Viewer,权限逐级累积;应用归属于唯一团队,用例和套件的访问权限跟随应用。跨团队共享支持 view、execute、full 三级,并按“用户角色与共享级别取较低者”的上限规则生效。
- 实现与部署:团队到 Cognito 用户组的映射由 Lambda authorizer 解析为 API scopes 与团队上下文;DynamoDB 存储团队、成员、应用所有权和共享授权;Lambda 与 API Gateway 在后端执行 scope 检查及资源归属校验。方案通过 AWS CDK 部署在用户自有 AWS 账户,测试数据、结果和指标保留在账户边界内。
- 行业意义:这轮更新针对 Agentic QA 从单团队试用扩展到组织采用后的管理问题:测试数量增长后,组织、健康度可见性与访问控制成为主要工作,而不是继续编写测试。将应用作为权限和指标的单位,减少了逐条测试管理权限的成本。 🔗 AWS Machine Learning Blog | QA Studio GitHub





