马东锡以 737 MAX MCAS 案例讨论 Coding Agent 的设计审查边界
- 核心论点：航空软件认证标准 DO-178C 要求需求可追溯到代码与测试、测试覆盖决策逻辑，安全关键软件需由开发者之外的独立人员验证；作者把该流程放入 Coding Agent 场景。
- 事故背景：737 MAX 的 MCAS 仅依赖一个迎角传感器自动推低机头；开发中控制能力被增强，但安全分析未充分更新。2018、2019 两起坠机造成 346 人遇难。
- 假设场景：工程师输入“增强 MCAS 控制权限，并允许低速启动”，Agent 十分钟内完成修改，更新需求文档、重写测试并达到 100% 覆盖率，但不会质疑单传感器设计。
- 分支问题：Agent 也可能主动警告“依赖单一传感器，没有交叉验证机制，请确认这是预期设计吗？”；关键在于团队会停下重新评估，还是直接点击 Approve。
- 行业意义：Coding Agent 能否生成代码与测试只是下限；在安全关键系统中，识别隐含设计前提、触发有效人工审查，决定其能否进入生产流程。 🔗 马东锡原帖