2025-云器Lakehouse技术白皮书-35页

2 !" Lakehouse #$%&' !"#$ 云器科技是⼀家多云及⼀体化的数据平台提供商。公司成⽴于 2021 年，⾸创了基于通⽤增量计算的"Single-Engine"为核⼼理念的湖仓平台——云器 Lakehouse。云器 Lakehouse 使⽤ Single-Engine 统⼀流、批和交互分析，打破了传统数据平台数据冗余和多组件拼装的复杂架构限制，以⼀体化设计创新和卓越性能助⼒企业提升数据处理效率和协作能⼒、快速且经济地推动业务决策。 云器科技创始团队来⾃阿⾥云，之前有海外留学与科研经验，主持并参与过北美第⼆⼤规模和亚洲最⼤规模数据平台建设，在数据平台领域有丰富的积累。团队成员主要来⾃阿⾥云、字节、微软、Oracle 等国内外顶尖云计算与⼤数据企业，曾荣获浙江省科技进步⼀等奖，并获得 7 个顶级数据开源项⽬委员会席位等多项荣誉，发表过 40 篇国际顶会论⽂，拥有 30 个国内外专利。公司研发⼈员占⽐⾼达 80%，是国内最顶尖的数据基础设施团队。⽬前，团队在全球范围内积极布局，在杭州设有总部，并在北京、上海、成都、⻄安、新加坡等城市设⽴分⽀机构。未来，云器科技将持续推动⼀体化数据计算平台的演进，助⼒更多企业释放数据价值，加速数字化转型。 3 %&'()*+, 随着企业数据规模快速增⻓，以及企业加强对数据价值的深⼊挖掘，数据平台在过去⼆⼗年经历了从传统数据仓库到现代数据湖、湖仓⼀体的演进。云器科技结合⾏业技术发展以及市场观察提出下⼀代数据平台的演进趋势： 基于1.增量计算的⼀体化引擎我们认为⾯向结构化数据分析的计算引擎，逐渐向⼀体化演进。以应对传统组装式 Lambda 数据架构带来数据/元数据不统⼀、计算冗余、架构复杂、开发效率低下等诸多问题；既新⼀代基于Kappa 架构的统⼀计算引擎成为⼤数据平台演进的⽅向。越来越多的⼚商正在开发能够同时⽀持批处理和流式处理的统⼀计算引擎，海外如 Databricks、Snowflake，国内如云器科技等商业产品通过⼀体化引擎⽀持多种数据处理模式，从⽽简化开发过程，降低不同处理模式之间的拼装成本。⼀体化引擎的技术趋势未来将给企业带来更多便利，它将让企业能够在⼀个平台上，以统⼀的⽤户接⼝进⾏批处理、流处理、交互式分析处理多种任务。2.基于湖仓架构的开放存储 4 下⼀代数据平台可以借助数据湖仓架构统⼀存储不同类型的数据（例如结构化、⾮结构化、向量化数据），并通过新⼀代元数据管理服务管理包括多类型数据和 AI 模型在内的数据对象，提供统⼀访问控制和安全治理能⼒，以满⾜新场景需求。开放性是数据平台适应复杂数据⽣态、⽀持业务创新的关键能⼒。越来越多的开源产品和商业产品都在通过使⽤开放数据格式和开放元数据协议增强⾃身与外部产品的互操作性，特别是增强与主流开源引擎的数据开放，以⽀持更多场景的扩展和解除技术锁定。 3.云原⽣架构及多云⽀持云原⽣架构在数据平台中的应⽤，不仅仅是上云，更是技术上的演进。它通过提供⾼弹性、⾃动化的解决⽅案，使得数据平台能够更好地适应不断变化的业务需求和技术趋势。同时，⼤型客户对于多云诉求愈发明显，希望通过引⼊多家供应商控制成本，兼顾安全性和灵活性。数据平台需要具备跨云或多云的兼容能⼒的，并且能够为平台⽤户提供⼀致的使⽤体验。托管化的产品设计，直接提供业务价值o托管化服务，聚焦核⼼业务随数据分析场景的逐渐成熟，基于开源 Spark、Flink 等引擎⾃建的数据平台，灵活性优势逐渐减弱，⼆次开发的必要性显著降低，⽽主流开源引擎的低效率、组装式架构以及复杂运维⼈⼒开销成为企业痛点。全球市场中，采纳托管化的企业级数据平台产品⽇益成为主流（Snowflake、Databricks 为代表）；在国内市场，许多企业在降本增效的⽬标下，开始放弃基于开源产品⾃建数据平台⽽逐步转向更⾼性能、更低成本、更省⼼的托管化数据平台。o⼀站式端到端的完整⼯具链，赋能全员⾃助式使⽤数据平台本身包含存储、计算和数据开发/管理等多个层次，才能完成业务场景闭环。云器Lakehouse 包含的 Studio 部分，提供多种功能，包括数据摄取/集成、数据加⼯/4.准备、负 5 载监控管理、数据编⽬与治理、数据发现和分析等。同时，⾃助式数据...