蚂蚁 Agentic AI 基建挑战和实践

李春介绍自身从业经历后，阐述了 Infa 在 AI 时代面临的挑战，包括计算模式转变、基建约束、成本压力和监管压力等内容如下：

• 个人背景与视角
• 从业经历：李春在阿里体系的 UF 工作 16 年，从业近 30 年，97 年毕业。目前从 Infa 角度关注整体 AI 的发展。
• 角色职责：身为蚂蚁超算计算人员及基础设施委员会主席，负责规划未来发展方向。
• AI 时代计算模式变化
• 支付业务计算特点：蚂蚁支付业务单笔支付时间短，成本低，算力消耗少，过去采用弹性计算容器将大算力切成小的以降低成本。
• AI 时代计算模式：AI 时代将小的卡整合为机柜（超级节点），再组成超级集群并放置各种服务，与过去模式相反。
• Infa 面临的挑战
• 技术与经验冲突：过去的经验和做法在新的 AI 时代不成立，Infa 在 AI 发展中相对滞后。
• 基建约束：蚂蚁业务对基建要求稳定，强调金融与可信，数据安全是生命线，支付不可靠会面临监管问题。
• 成本压力：如 10 万张卡成本达 100 亿，支持用户规模的增加会带来巨大成本。
• 监管压力：监管技术手段增强，从大厂挖人，对 Infa 形成较大压力。

音频主要探讨了使用 AI 后企业面临的诸多问题及应对策略，内容如下：

• 使用 AI 面临的问题
• 适配成本高
• 国产适配复杂：从芯片到集群的完整过程耗时约一年，且国产环境下各环节适配割裂，需多支团队协作，涉及五六百个任务，导致时间和金钱成本大幅增加。
• 算力电力制约：AI 的电力消耗是一大制约因素，不解决此问题会影响整体运作。
• 架构演进困难
• 架构延续性差：蚂蚁有 20 年历史，早期以通用 CPU 为主，后模型独立训练，但推理时 GPU 与 CPU 部署困难，导致通讯次数增多、成本加剧，架构不延续。
• 基础设施压力大：GPU 主角的切换给基础设施演进带来巨大压力，如机房迁移需数年时间，期间成本高昂。
• 支付链路问题：支付链路长，各环节易出问题，导致失败率增加，金融回款和补偿困难，如数据库曾花费 7 年解决最后一秒数据丢失问题。
• 安全合规成本高
• 监管成本增加：金融业务的安全合规是奢侈品，监管成本高，且无法单纯靠金钱解决，需完善后再上线。
• 数据隐私限制：因监管要求，隐私数据高度隔离，大规模上线存在风险，需谨慎推进。
• 应对策略与工作重点
• 成本控制：将降低成本作为首要任务，因为涉及百亿、千亿级别的资金，成本降不下来工作无法开展。
• 安全生产：借助英保完善安全生产工作，确保监管和 CEO 认可，避免因合规问题遭受重大损失。
• 体系构建：从 CPU 时代以虚拟机或容器为单位构建系统，到 AI 时代以模型为单位，再到 agentic 时代以 agent 体系为单位构建系统和方法论，已进行约两年的 agentic 体系构建工作。