AI时代企业需要怎样的数据存储

作者：周立旸

IBM 大中华区科技事业部存储软件产品总监

随着 DeepSeek 等新一代开源大模型的发布，AI 变得越来越智能，使用更少的资源就能够创造更高的应用价值，越来越多的企业都正在由内而外、由浅入深地部署各种 AI 应用。从更大的视角看，市场的不确定性进一步加剧企业的“算力焦虑”，如何盘活现有计算资源、打通内部数据已经成为 CIO、CTO 们的当务之急。

在今年 1月的 CES 大会上，英伟达等科技公司认为 AI 发展至今，已经需要新的定律来描述不同的计算资源配置如何影响模型性能，包括预训练扩展、后训练扩展和测试时扩展 (也称为长思考)。在强化学习、模型调优以及运用 AI 推理模型阶段，企业能够用更小的算力增加来获得更智能、更强大的 AI。为了防范数据泄露风险，大多用户采用了本地化部署的 AI 基础设施来进行应用开发和调优，并通过思维链和多模型矩阵来优化 AI 推理效果。这些算力集群不仅需要对应的高性能分布式存储，更需要与之匹配的现代化数据访问和管理服务。

企业为什么需要 AI 存储?

当我们问 DeepSeek “AI 时代需要哪种存储”，它给出了如下答案：

具体到真实的企业应用场景，AI 存储解决方案需要应对如下挑战：

昂贵的 GPU 资源：许多用户投入了巨额资金来购买一体机和算力平台，需要存储方案缩短 AI 开发的时间、提升推理应用的效率，更快地获得所需的结果;

分散的 AI 数据：AI 需要实时、可信的数据才能发挥作用，企业端的应用更是需要结合企业自有的历史和实时数据。这需要企业有效地整合非结构化数据，在需要的时间和地点交付数据，为各种 AI 应用提供透明的数据访问;

不断增加的存储成本：伴随数据量的不断增大，企业需要消除数据孤岛，实现数据生命周期管理，用更低的成本实现更高性能的数据访问和更大容量的数据保留，通过智能化的数据分层降低总体开销;

确保数据安全合规：随着数据成为关键生产要素，企业需要更安全的手段和更严格的规定来抵御安全风险、自然灾害和人为错误，确保数据一直可用;同时实现网络安全弹性，在勒索攻击等事件发生后快速恢复数据，确保业务持续性。

AI 时代，企业需要怎样的数据存储?

以 DeepSeek 为代表的“小而美”开源模型，通过算法层面的优化实现了可观的“降本增效”。那么，基础架构层面的优化能否满足以上需求，带来更大收益呢?

答案是肯定的。得益于在高性能计算和并行计算领域的长期积累，IBM 的 AI 数据存储解决方案可以提供优化的数据基础架构，包括：

加速 AI 发现和 GPU 的数据访问：IBM Storage Scale 软件可以并行访问全局数据，帮助实现协议互通 (如容器、对象、文件、POSIX 等)，支持 NVIDIA GPUDirect 提升 GPU 数据访问效率，通过“容器原生数据访问”为各种 AI 应用和微服务提供更高性能;

增强基于分布式/云数据的协同工作：IBM 的全局数据平台可以实现存储抽象和加速能力，将企业分布的数据整合为统一的数据资源，实现自动化的数据加速和透明的远程数据访问，全局访问位于磁带、云或现有存储资源上的数据来帮助消除数据孤岛;

绿色节能，降低成本：通过 IBM 软件定义存储强大的数据调度能力，结合高性能存储、对象存储(如 Ceph)和磁带存储实现基于策略的数据分层，可以为 AI 应用优化数据存储的性能和成本;

实现数据安全弹性：为 AI 治理提供集成的数据目录，为实现网络安全弹性提供快速恢复和 Safeguarded Copy(不可变副本)，通过高效的数据保护机制可以提供高达6个 9 的可用性。

AI 存储的应用场景

以上技术的集合将为企业打造更高效、更安全的存储平台，以解锁数据价值，应对 AI 时代的数据挑战。典型场景包括：

AI 调优、推理与训练：其中，用于调优和推理的系统往往采用容器化部署，需要丰富的数据管理功能和接口，同时提供企业级的安全容灾能力支持业务连续性;用于训练的系统需要能支持大规模 GPU 集群运行所需的读写性能和扩展能力。采用高效的数据存储可以实现数据加速，提升应用效率。

以 IBM watsonx.ai 平台为例，IBM 配备了 AI 一体机 IBM Fusion HCI，其后台采用 IBM 软件定义的高性能存储，可以满足不同规模大模型部署的需求，同时确保在几十乃至上百个用户并发访问的情况下，维持稳定的 token 输出速度来满足推理应用的服务水平。

在 AI 训练领域，全球许多千卡万卡的大集群都采用了 IBM 的 AI 存储，例如部署在德国尤里希超级计算中心的 JUPITER、部署在西班牙巴塞罗那超算中心的 MareNostrum 5、IBM 用于训练 Granite 模型的 Blue Vela 等等。基于英伟达 SuperPOD 的测试结果显示，采用同样数量的节点训练同样的模型，采用 IBM SSS 6000 高性能并行存储的 4个迭代训练时间，比基于全 NVMe 的 NAS 整整缩短一倍。对于一个投入几千万甚至是几亿的基础设施来讲，这意味着经济成本的巨大节约。

在国内，某智能驾驶应用的领军企业、某头部量化私募基金以及某高校的冷冻电镜项目都选择了 IBM Storage Scale System，在多云环境中打造统一的全局数据平台，同时快速响应数据调度需求，实现高效开发迭代和系统管理。

AI 数据湖仓

伴随 AI 应用的飞速发展，企业需要从快速增长的非结构化数据中提取洞察并用于推理，不断扩展检索增强生成(RAG)、AI 推理等应用场景。AI 数据湖仓可以在不影响信任和安全的前提下，提供更实时、更可信的数据访问。以汽车制造为例，车企客户可以通过车联网实时收集和整理车载传感器的数据，用于开发更智能的模型，并利用这些数据为用户提供更好的服务。

基于 IBM 全局数据平台强大的混合云支持能力和灵活的容器应用接口，以及对多应用多集群的多租户的支持能力，用户可以整合现有数据存储，为数据构建高效的 AI 数据管道。今年，IBM 还开发了新一代内容感知存储 (Content-aware Storage) 功能，以增强其检索增强生成 (RAG) 能力来帮助用户加速各种推理应用。

数据深度归档

随着 AI 应用的拓展，企业对数据的安全性、可靠性、合规性的要求也不断提高，需要采用更安全、更低成本的存储来大幅降低数据保留的成本。

通过IBM 软件定义存储技术，IBM 磁带库可以提供 S3 接口，让企业可以使用对象存储或者公有云存储一样的方式实现数据归档。磁带的大容量、低成本等优势，可以大幅降低 PB 级别数据的长期保留成本。例如，采用 IBM Diamondback 的深度归档方案，27PB 数据的 10年保留成本比公有云存储降低近 90%。

写在最后

在 Gartner 发布的 2024年分布式文件和对象存储魔力象限中，IBM 第九次被评为领导者，大量金融、汽车、电子等行业的全球领先企业都采用了 IBM AI 存储解决方案。通过和全球 AI 技术领导者的合作，IBM 将持续创新，提供现代化、开放、安全的数据基础架构，助力客户在 AI 时代解锁更多商业价值。

关于 IBM

IBM 是全球领先的混合云、人工智能及企业服务提供商，帮助超过 175个国家和地区的客户，从其拥有的数据中获取商业洞察，简化业务流程，降低成本，并获得行业竞争优势。金融服务、电信和医疗健康等关键基础设施领域的超过 4000家政府和企业实体依靠 IBM 混合云平台和红帽 OpenShift 快速、高效、安全地实现数字化转型。IBM 在人工智能、量子计算、行业云解决方案和企业服务方面的突破性创新为我们的客户提供了开放和灵活的选择。对企业诚信、透明治理、社会责任、包容文化和服务精神的长期承诺是 IBM 业务发展的基石。

• IBM IBM 关注

  关注

  3

  文章

  1798

  浏览量

  75342