返回首页

AWS 为 Nova Act QA Studio 增加应用分组、健康指标与团队权限

  • 核心更新:QA Studio 新增 applications 作为测试用例与测试套件的容器,每个应用归属一个团队并继承其所有权;创建时填写名称、base URL 与可选环境(开发、预发、生产)。
  • 指标与健康评分:每次执行结果写入 CloudWatch 自定义指标,按应用与环境维度统计;应用页展示选定窗口内通过率、执行次数、失败数及 0–100 健康分,后者从通过率出发并对 flaky 测试扣分。指标页支持 7 天小时粒度或 30 天日粒度趋势,并提供 flaky tests 排名与最近失败列表,可跳转至 Nova Act 轨迹日志和会话录制。
  • 权限模型:团队角色分为 Admin、Team Lead、Editor、Executor、Viewer,权限逐级累积;应用归属于唯一团队,用例和套件的访问权限跟随应用。跨团队共享支持 view、execute、full 三级,并按“用户角色与共享级别取较低者”的上限规则生效。
  • 实现与部署:团队到 Cognito 用户组的映射由 Lambda authorizer 解析为 API scopes 与团队上下文;DynamoDB 存储团队、成员、应用所有权和共享授权;Lambda 与 API Gateway 在后端执行 scope 检查及资源归属校验。方案通过 AWS CDK 部署在用户自有 AWS 账户,测试数据、结果和指标保留在账户边界内。
  • 行业意义:这轮更新针对 Agentic QA 从单团队试用扩展到组织采用后的管理问题:测试数量增长后,组织、健康度可见性与访问控制成为主要工作,而不是继续编写测试。将应用作为权限和指标的单位,减少了逐条测试管理权限的成本。 🔗 AWS Machine Learning Blog | QA Studio GitHub
QA Studio application detail page showing pass rate, executions, and failures above the use cases and test suites tabsQA Studio metrics tab with a daily success and failure chart, failure hotspots, and a flaky use case rankingQA Studio studio-wide Users page listing each account with its team and role, with team and role filtersQA Studio Teams page listing each team with its member count and application countQA Studio studio-wide Applications list showing each application’s base URL, owning team, use-case count, and last execution statusTeam lead Members tab with an inline role selector for each team member