A时代的存储基石张广彬张翼王海峰!著益企研究院
目录CONTENTS前言：存储是人工智能的关键基座。4第一章：AI与存储技术开启未来数据新纪元。9典型A应用带来的存储增长趋势12大模型场景下的以存强算-14边缘AI存储成为热点17存储技术的挑战与机遇7存储系统的智能化1o算力与存力高效协同19计算存储协同促进A落地19第二章:AI应用场景与存储黑求。1x·21准备数据2训练过程检查点及其作用2数据量与读写压力2233检查点的保存检查点的恢复推理过程·KVCache及容量需求......35RAG与向量数据内容生成...37生成式AI促进数据生产…So边缘侧计算和存储能力增长"数据留存与复用...41小结·......42
AI时代的存储基石....43存储层级架构44HBM与SRAM存储容量.s.................4.存取性能.S顺序读写S随机读取.53随机写入.00耐久性55分层存储..··56第四章:技术演进与生态.0.··59容量趋势·60硬盘_60..................2性能趋势....c多磁臂o5统一生态....绿色节能.7功耗水平心增长趋势72液冷选项74长效节能.74硬盘再生...·76结语：Ａl重新定义数据存储的量与质77
前言因“数”而变，以存强算存储是人工智能的关键基座因“数”而变，以存强算存储是人工智能的关键基座自2022年底通用大模型技术取得突破以来,人工智能领域进入发展快车道。2024年2月发布的多模态生成式模型，标志着基础大模型正从单一数据处理向多维度信息整合演进。这类系统通过融合文本、图像、音频等多模态数据，实现更接近人类认知的复杂信息处理能力，在医疗、交通、工业制造和气象预测等领域展现出显著应用价值。近期,得到广泛采用的开源大模型通过系统性优化,在保持高性能的同时大幅降低训练成本,引发行业广泛关注。而另一技术方案则通过大规模算力集群的部署,验证了算法效率与算力规模协同发展的重要性,为行业提供了多样化的技术路径参考。从2018年始，希捷参与了益企研究院发起的数字中国万里行活动,几,年来数字中国万里行团队足迹遍布"东数西算"八大枢纽节点,考察了云计算、自动驾驶、高教、金融、制造等相关行业上百个数据中心，见证了云计算、人工智能高速发展下的技术应用趋势和架构演进。AJason Feist希捷科技市场营销高级副总裁4
AI时代的存储基石2024年，希捷科技再次联合益企研究院，针对不同行业场景深入调研和解读。我们发现算力和存力的紧密结合，正推动着数字经济高质量发展。基于本次调研,我们认为以下三个方面值得在更大的范围内讲行探讨首先，随着数据的爆炸式增长，生成式AI应用走向普及，更主富的内容、更频整的根据市场研究机构IDC的预测，到2028年，全球预计将产生394ZB数据。而现代数据中心存储的所有数据中,有８0%～90%是非结构化数据,包括文本文件、图像、视频和电子邮件等,它们无法规则地纳入到传统数据库中,在A|赋能业务的过程中,企业利用数据的能力提升带动数据存储管理、使用的零求增长用户越来越关据存储容量、数据访问速度、设备与系统的能效等方面。Cloud StorageMedia-IDCGlobalStorareSphere202431115092380DC:全球生成的数据中，只有不到5%会被保存下来。预计到2028年，存储在云端的数据约10ZB（具体构成如上图，HDD占比约80%，是SSD的6倍多），企业端约6ZB,消费端约4ZB
前言因“数”而变，以存强算存储是人工智能的关键基座更重要的是，高质量数据是构建可信人工智能的支柱。数据的准确性、完整性、一致性和时效性直接影响着AI模型的训练效果和决策的可靠性。不准确的数据可能导致模型产生错误的预测和判断。反之，良好的数据管理，跟踪模型历史和数据脉络不仅可以帮助企业实现精准决策，还确保企业遵守人工智能法规。同时可以避免企业依赖干单一来源或者商业益动下的专有数据使A模型更加全面准确地反映现实世界情况,确保推理的可确定性,其次A工作负载在不同阶段需要不同特点和类型的力、存力支撑在大型数据中心部署中，AI相关数据在使用和创建的无限循环中流动。工作流程的储存内容网络机械硬盘换下来。0000工作流的每个阶段都需要不同的内存与存储设备组合图片来源:SeagateTecthnobogy2024@sEagATEAI数据从源数据到训练模型、创建内容、存储内容、保留数据、重复利用数据的无...
