G-阿里云企业级AI应用开发:从技术选型到生产落地黛忻阿里云ServerlessAl团队
G-阿里云01企业级AV应用开发运行时选型Contents目录02ServerlessAl运行时关键技术03客户案例-Serverelss+AI让应用开发更简单
G-阿里云企业级AI应用开发运行时选型01
G-阿里云AI原生范式对基础设施提出全新的要求构建支持AIAgent的高效基础设施Agent-CentricState-FirstTask-DrivenOrchestrationEmbrace Uncertainty基础设施的核心服务对象从状态是Agent的“记忆”与基础设施主动协调Agent完承认LLM输出的非确定性“人类用户”转变为"自主通过基础设施能力降Agent",以Agent而非服"人格"载体,基础设施必须成目标,而非而非追求绝对可控,从"防原生支持状态的持久化、低延转向"容错自愈务或API为中心依靠事件眶御性编程迟访问与跨环境迁移动和动态弹性以Agent为中心状态优先任务驱动协作接受不确定性
G-阿里云AI时代开发者关注业务创新而非基础设施Serverless是Al原生架构的最短实现路径动态弹性静态资源分配易受注入多租户数攻击据数感状态管理复杂状态持久化智能体Agent从Serverless架约到AI原生架X从传统架构到AI原生架构API驱动事件驱动免运维运维负担沉重安全弹性VM/容器运行时AI时代需求Serverless运行时
G-阿里云从Serverless到Serverless AlServerless Al运行时是AI原生应用的最佳选择开发提效弹性降本模型X智能体X工具开发者管理者异构算力会话管理轻量经济ServerlessAl运行时
G-阿里云ServerlessAl运行时关键技术02
G-阿里云函数计算FC:ServerlessAl运行时0运维、轻量、经济、弹性异构算力ServerlessAI运行时生态集成100倍建行股分钟,容3018-分钟模型服务图像生成A工具启动效率智能体AgentA应用开箱即用Qwen,DeepSeck,etcComfyUl, SD, etc.低代羽编排、高代码编码MCP&Sandbar5倍小规格:FCQ05C128V8内置多语言Java 8~21白定义选行时白定义镜像运行环境规格粒度函数类型事件函数Web函数任务函数GPU函数接请求调度,毫心计费,低峰自动缩0不使用不计费Serveress高密部署,主动调度安全隔离,自动客灾快速交付,极款弹性产品集成,事件驱动平台底座第四代神龙架构沙箱容器2.0资源池化2.0云产品Serverless化Pythor/NozeAnvRIVGVNET等50支持自定义运行异构DCPU算力(x86)GPU算力(Tesla,Ada,Hopper,etc)FOXPU算力算力内置环境时和自定义使慢,方便开发者灵活定制
G-阿里云ServerlessAl运行时安全资源强隔离租户A租户B租户A租户B容器容器安全容器安全容器UserCodeUserCodeUserCodeUserCode安全隔离安全沙箱/性能隔爽客器RuntimeRuntimeRuntimeRuntimeGuestKernelGuestKernel云主机硬件虚拟化物理服务器神龙服务器传统容器技术函数计算FC运行时普通容器用内核提供的namespace和cgroup做资源FC安全容器安全加固策略(核心是限制代码破坏范围)限制和隔离(从机器上圈了一部分资源给容器用),在/安全容器提供基于虚拟机级别的隔密安全性上存住不足。函数调度尽可能调度到同一台神龙服务器口容器内的进程在宿主机上可以看到加固安全策略:端口封禁、命令行封禁等口容器和宿主机共用内核,可以对宿主机进行破坏实例回收:销毁亚建,避免残留/tmp目录、日志、环境变量、进程等
G-阿里云模型运行时关键技术函数计算ServerlessGPU相对虚拟/容器的核心优势:请求感知调度、毫秒级闲置唤醒、1/N卡切分使用、Serverless混合调度用户发起推理请求请求达到函数网关国请求感知调度实时负就分析与请求感知调度,资源效率最高,时延更稳定轻量灵活百倍加速业界领先(毫秒级)1/N切卡自动弹性闲置唤醒常驻资源池(用户包月购买)弹性资源池(平台保有,用户按量使用)按请求弹性定时弹性水位伸缩用户常驻资源地+平台弹性资酒池混合调度1N卡切分使用请求就感知调度毫秒级闲置吹酸RT抖动减少80%,可缩容到0Severless混合调度降本50%百倍启动加速最大降本93.75%用户成本降低50%以上以15%的成本换款冷自动分拌领.>端影坝减少GPU锌片,优化桶绿资源料用车
G-阿里云模型运行时:GPU冷启动优化函数计算首推ServerlessGPU启动快照,实现毫秒级的首次推理响应,0->1首包耗时对比K8sGPU,从分钟级优化至毫秒级实时/准实时在线推理服务...