阿里云：释放算力潜能加速应用构建Serverless 为 AI 创新提速会员免费

释放算力潜能加速应用构建 为 AI 创新提速赵庆杰 阿里云 基础架构团队负责人2023年12月1日

目录01AI 应用的发展趋势以及面临挑战 02 技术加速 AI 应用的构建03 AI 应用案例

AI 应用场景极速增长百花齐鸣的AI 应用市场竞争下，“迭代速度” 成为关键因素之一

异构计算资源调度资源虚拟化分布式调度基础设施：数据存储与高性能网络模型训练AI 计算开发者领域AI 工具算法框架AI 算法库AI 在线应用（推理）AI应用 平台网关鉴权快速部署服务依赖AI 应用面临的挑战•AI 应用的构建复杂，且需要多环境部署支持，需要与非 AI 应用集成•随着 AI 应用功能逐渐丰富，调用链路长极大影响问题的快速发现• AI 应用组件无法复用，持续重复造轮子，浪费资源成本，如绿网能力，队列等•网关通用能力，安全鉴权，限流保护，多协议支持，防护攻击等AI 计算力面临的挑战• 资源紧缺且成本高，需要持续保有购买•卡型不统一导致算力不统一，进而影响应用层架构•随着计算规模的提升，容错能力也越来越重要•大数据的读取，以及模型的快速加载，对于底层的技术要求越来越高AI 技术概览

太贵，型号那么多，换代快，怎么架集群找不到 机器用机器利用率太低了！那么多机器都闲着听说很快，但是我们工程师用起来反而比 慢硬件复杂度资源管理复杂度全系统优化复杂度调度效率复杂度经常听到的问题？

AI 应用解决方案

如何高效率低成本落地如何方便快捷部署使用工程相关算法相关接口相关• 工程能力比较强，更希望有一个平台可以提升整体的研发效能，降低运维成本；• 往往和实验室/公司内的设备有强关联，需要有安全保障等；负责 AI 应用平台建设和管理负责 AI 模型开发调试通过 等对接口进行工程化封装• 算法能力比较强，希望有一个好用的 AI 模型管理平台；• 希望可以在本进行开发调试、线上进行测试的时候，有一个便捷的环境等；• 工程能力比较强，更希望有一些项目案例等，可以帮助业务快速的发布和上线；• 有完整的应用开发、调试、发布流程等；AI 开发者模型相关工程相关算法相关接口相关不同角色，在 AI 场景下的诉求

函数计算提供构建现代化高可用 AI 应用的简化路径，是 AI 应用的最佳实践 开发平台 AI 场景•三步上手最佳实践，一键模型托管，上手门槛降低 80%；•快速弹性 + 实例赋能 AI 应用降本提效；上手简单，降本提效• ， 开源生态联动；• 等 AI 开源框架与阿里云产品高集成；最佳实践，心智强化拥抱开源，开放生态•10 + 应用场景，50 + 应用案例，一键部署，快速体验；•覆盖 2W+ AI 应用开发者，打造阿里云函数计算 AI 第一心智；电商软件开发教育医疗创作函数计算 通义千问 其它模型 旅游行业 开发中心模型/应用生态函数计算 AI 场景特定能力AI 场景/行业场景化案例库应用全生命周期管理应用多环境管理函数计算 应用流水线场景化 AI 应用数据来源于阿里云业务数据

– 按请求付费 虚拟化技术•算力强隔离，显存强隔离•故障强隔离•兼容原生应用业务流量 两级资源池•热资源池：避免 级别 引起的分钟级别冷启动。•资源供给：FC / 两级资源池共同保证 资源供给。•使用成本：FC 资源池平台持有，用户只为真实使用付费。热资源池，实时弹性，平台持有，用户低成本

– 按请求付费免费额度：函数计算为首次开通服务的用户提供免费试用额度：• 试用额度：前100万GB*秒资源使用免费。• 注意：免费额度不包含公网出流量。领取后 3 个月有效期。计费项单价函数调用次数0.002元/万次 使用量0.00005元/GB*秒

GB 级镜像实例秒级启动挑 战典型负载模式：一次性提交大量任务，启动数百-数千实例处理共享存储带宽有限，大规模实例启动打满带宽共享存储延时 10-20 ms，比块存储慢 10X 以上思 路镜像中存在大量冗余数据，按需加载远端数据结合多种存储服务构建层次化的缓存体系通过负载感知的方式最大化缓存效果结 果块存储的性能，共享存储的成本GB 级镜像启动开销 ～ 3 秒SD 7~8GB 模型启动 20 秒最大镜像支持 15 GB实例节点...