互联网大数据应用&解决方案-阿里云-16页会员免费

互联网大数据应用&解决方案阿里云计算平台解决方案 振策

数据是企业的生产材料，持续高速增长Big data is data sets that are so voluminous and complex thattraditional data-processing application software are inadequateto deal with them.大数据作为新的生产要素，得到广泛认可，在可见的未来，数据规模保持高速增长超大规模数据，低成本算力，以及数据上的快速迭代是双11成功的前提Big Data has been well recognized as new essential resource and the volume of Big Data grows rapidly. Alibaba Group as an example: Rich Data, Efficient Computing on the data, and Algorithm are key to successVolume– 数据量Variety – 数据类型Velocity – 数据存储和计算的增长速度Veracity – 信噪比（so we need to MINE data）Value–价值1PB20PB100+PB拍立淘小蜜智能客服淘宝个性推荐算法02004006008001000120020152016201720182019双十一单日处理数据量（PB）

数智化是企业数字化转型的灵魂• 内部数据• 外部数据• 业务分析• 风险防控• 经营决策• 智能应用• 技术支撑平台• 数据资产平台• 服务运营平台数据智能平台

实时离线一体化数仓发展新方向01云原生数据湖多计算引擎+统一元数据湖仓一体数仓&数据湖0203数智平台应用-核心探索04数智解决方案

云上数仓的创新理念：实时即服务KafkaFlinkSubscriptionArchivingRealtime IngestionRealtime IngestionDim Table JoinHiveClickHouseDruidHBaseCassandraDrillPrestoRedisMysqlAPIApplicationsReportsDashboardsResultCachingBatch Processing批处理Batch Acceleration 离线加速Federated Analytics 联邦计算Point Lookups 点查询Realtime Analytics实时计算结果缓存DataHub在线应用运营看版数据大屏MaxCompute服务分析MC-Hologres交互式分析大数据计算服务实时计算Flink数据总线一份数据同时用于实时分析与在线服务Hybrid Serving Analytical Processing企业数仓实践的“纷繁芜杂”

交互式分析Hologres离线计算 SQLEngine数据迁移工具MMADataWorks大数据开发与治理DB日志HadoopIOTMaxCompute离线、实时、分析、服务一体化MaxCompute数仓全面升级架构清晰离线实时一体化数仓最简单大数据分析架构性能强大飞天10年累积，国内规模最大，单系统超10万台连续3年TPCx-BigBench 性能世界冠军PB级数据亚秒级分析使用门槛低Serverless开箱即用企业级安全能力存储加密、异地容灾备份、自动恢复、多租户权限管控

从自建走向更完整的数据湖体系人工智能 Artificial Intelligence分析 AnalyticsMaxComputeEMR ( Spark + Presto )实时计算Flink版MC-HologresEMR DataScience机器学习 PAI生态产品 Eco-productsDatabricks数据洞察自建 CDH自建 Hadoop数据湖存储 OSS结构化/半结构化/非结构化数据湖构建 Data Lake FormationETL数据清洗 / 元数据 / 权限管理ElasticSearchDataWorks智能推荐AIRec印刷文字识别数据集成DataHub实时计算Flink版数据入湖

数据湖:面向云端的数据架构StorageLayerComputeLayerOrchestrateAccelrationMultiple CalculationResource ManagementStorageOptimizerStorage formatDataLakeStorageHologresMaxComputePrestoSparkFlinkOSSJindoFSJindoSDKJindoFSJindoTableJindoManagerFuxiCPFSData LakeFormation

业务规模总体拥有成本（TCO）特定规模前，数据湖灵活性占优，之后数仓成长性占优客户如何才能同时享受数据湖的灵活性和云数据仓库的成长性？成长性灵活性数据湖云数据仓库鱼与熊掌如何兼得？

数据湖云数据仓库存储原始数据，入湖简单、建设成本低成本大数据技术栈数据体系松散、灵活度高数据治理较困难数据种类丰富（结构化、半结构化、非结构化）面向分析师/数据科学家自助式数据挖掘和科学探索灵活治理分布式存储数据提前建模，入仓要求高、建设成本高数据体系严格、灵活度较低数据治理容易数据种类较单一（结构化、半结构化）面向企业决策分析的数据处理和分...