返回首页

Manta 用单船运营数据训练航次优化模型:单次训练 30 亿数据点,预计节油 2%–4%

  • 问题定义:船体状况、纵倾、吃水、机械状态、装载模式与操作习惯的差异,使按船型均值训练的模型无法刻画单船实际性能,误差直接转化为燃油与成本。Manta Marine Technologies 改为按每艘船自身运营历史训练模型,再叠加气象与海况预报。
  • 架构拆解:整套数据基础设施跑在跨可用区的 VPC 内,Apache Airflow 常驻 EC2 实例做编排,通过 ECS operator 把 ETL、模型训练与航次优化全部下派为 ECS 任务;Lambda 作为客户端请求入口,触发对应 DAG 或直接返回库中已算好的结果,数据落在 RDS 与 DynamoDB,镜像存于 ECR。
  • 调度取舍:按实例类型分别定义容量提供者、Auto Scaling 组与启动模板,而不是共享单一资源池,从而对不同负载做粒度控制——非紧急作业跑 Spot,时间敏感作业走 On-Demand;训练与优化使用不同实例类型,并区分 Graviton、x86-64 与 GPU 镜像。
  • 持续训练闭环:Airflow 调度器同时驱动重训循环,某船累积到足够新航次数据后即启动训练任务,更新后的模型用于该船后续优化;单次训练需处理最高约 30 亿个数据点。
  • 成本数据:一条处理大数据集的 ETL 流水线迁到 Graviton 实例后,观测到约 25%–30% 的价格性能改善;AWS 公开基准称 Graviton 相较同类 x86 实例最高可提升 40%。基础设施以 AWS CDK 与 Boto3 定义为代码,开发、预发、生产环境可复现。
  • 效果与边界:基于其现役船队内部航次模拟,Manta 预计每船燃油节省约 2%–4%。该数字来自厂商自述的模拟而非第三方实船对照,随模型迭代与新能力加入可能变化;架构价值在于“实验在本地跑、验证后按调度扩到全船队”的路径,而非某个单点算法。 🔗 AWS Architecture Blog | Manta Marine Technologies
Manta’s AWS data infrastructure: vessel data flows through a VPC for processing, storage, and ML model trainingBorja RojoGonzalo Montero VillarHarkamal SinghMario Troiano