李睿博阿里巴巴 通用计算平台从 Spark 到 KubernetesMaxCompute 的云原生开源生态实践之路
个人简介• 李睿博，花名艺卓，2009 年加入阿里。目前任高级技术专家，负责 MaxCompute 生态平台团队，致力于提升 MaxCompute 拥抱开源生态的能力。
❖ 问题：大数据和云原生的关系❖ MaxCompute 的答案：联合计算平台及其发展历程❖ 展望：大数据和云原生的共生未来
云原生的演进IDCECSServerless虚拟化Service Mesh弹性、成本效率、成本
大数据的演进IDCECS+OpenSourceServerless虚拟化？弹性、成本效率、成本
背后的逻辑安全效率成本
MaxCompute—生而为云的大数据平台Java SDKPYODPSMaxCompute Restful APIMaxCompute Tasks(SQL、MR、GRAPH、PAI …)飞天RODPSJDBC
联合计算的需求MaxComputeOTSOSS
理想的云原生大数据平台超强弹性：满足从 GB 到 EB 的计算需求Serverless：降低 TCO 的不二法门云生态：计算各种云服务数据，兼容各种开源引擎多租户：极高的硬件利用率和安全隔离能力
今天的 MaxCompute—联合计算平台Java SDKPYODPSMaxCompute Restful APIMaxCompute Tasks(SQL、MR、GRAPH、PAI …)飞天RODPSJDBC联合计算平台开源引擎Spark/Flink/…Spark/Flink/… API自研引擎Mars/GRAPE/…STSOSSOTSRDS
多数据源—DataLake inside MaxComputeCREATE EXTERNAL TABLE IF NOT EXISTS AmbulanceDataExternal(vehicleId int,locationLatitute double,locationLongtitue double,recordTime string,direction string)STORED BY 'com.aliyun.odps.CsvStorageHandler'LOCATION 'oss://oss-cn-hangzhou-zmf.aliyuncs.com/odps-test/AmbulanceData/';/** * Base StorageHandler class, user-defined StorageHandler shall extend from this class. * The class provides interfaces to reason about Extractor/Outputer implemented by user, * for converting raw byte stream into records and vice versa. **/ public abstract class OdpsStorageHandler{ /** * Getter for underlying extractor class * @return Class description for the extractor class **/ public abstract Class getExtractorClass(); /** * Getter for underlying outputer class * @return Class description for the outputer class **/ public abstract Class getOutputerClass(); } MaxComputeSTS外表可编程
安全运行环境联合计算平台ClientOpenSourceBrowserCupid ProcessCupidTaskOpen Gateway安全模型MaxComputeREST APIFuxiPangu协议标准运行环境
安全模型• 基于统一的 REST API统一的身份认证、授权鉴权• 内化开源引擎无论 Spark 还是 Flink 还是其他，均为普通 MaxCompute Task共享计算资源，混合调度共享存储资源，统一的数据、元数据视图
协议标准YARN+HDFS•Spark 最小需求•FlinkArrow•数据通道优化•多语言支持Kubernetes•更加通用•支持服务类负载•Mars & Grape
运行环境• 轻量级虚拟化技术隔离 Host 内核• Job-defined network 隔离 Host 网络• 安全加固过的 KVM Hypervisor• 安全加固过的 Linux Kernel ( Host & Guest )• Managed 块存储 (云盘)网络隔离内核隔离
运行环境• 通过轻量级硬件虚拟化为应⽤提供完善的计算兼容性，可兼容丰富的开源⽣态计算形态• 在硬件虚拟化基础上额外增加系统调⽤安全过滤, 可针对未知 0Day 攻击提供⼀定防御能⼒HardwarefilesystemCPU��RAMDisksocketNICtask schedKernelSyscallGPUioVirtualization Syscall FilterApplication
联合计算平台的运行环境• 作业粒度可定制的私有网络和块存储• 面向大数据高并发场景深度优化千节点作业秒级启动私有网络秒级创建块存储设备 cache• 面向不同作业的定向优化离线作业优先级实时/在线作业强保障
联合计算平台的运行效果支持包括开源、自研在内多种计算引擎的多种运行模式计算密集型任务（如图计算引擎 GRAPE）对比物理机无差异Spark TPC-DS 与物理机基本持平（E2E 耗时差异 <5%）
UserA IDC展望：共生共赢的未来MaxComputeUserB VPCUserBJob1Job2RDSRedisZKKafka…UserAJob1Job2UserA VPCECSBearMetalJob1Job2
Thank you !
运营动脉关于我们ABOUT US WWW.YYDM.CN运营动脉是一个精心管理了4年的运营资料库，目前拥有超过40000+份运营资料，1000+运营渠道合作资源。当你在日常工作中，可以用它快速搜方案、看案例、读报告、做课件、找模板、下素材、用工具、学课程等。90%常见的运营需求都可找到模板和案例，工作中即可拿来直接套用，提高我们的工作效率，资料库持续更新ing…运营动脉官方服务号运营资料铺官方公众号运营动脉官方网站运营动脉APP下载业务联系站长微信
