在启用SME2的Arm CPU上加速百度PP-OCRv6模型推理

作者：百度大模型产品运营经理 李方剑；百度大模型高级产品经理 张晶；Arm 软件工程师 Shuheng Deng；Arm 开发者生态解决方案架构师 Jackie Lee；Arm 边缘 AI 事业部产品管理总监 Ronan Naughton

光学字符识别 (OCR) 是移动设备上广泛部署的人工智能 (AI) 工作负载，可支持文档扫描、翻译、数字支付、物流和智能搜索等功能。随着 OCR 模型的规模和精度不断增长，实现低延迟的端侧推理变得愈发具有挑战。

本文在启用第二代 Arm 可伸缩矩阵扩展 (SME2)的新一代 Arm 架构智能手机上评估了百度最新推出的 PaddleOCR PP-OCRv6 模型。

通过在 ONNX Runtime 上利用 Arm KleidiAI 实现 SME2 加速，OCR 管线实现了显著的性能提升，进一步印证 Arm SME2 技术对在 Arm CPU 上运行端侧 AI 工作负载的关键作用。

PP-OCRv6 模型介绍

PP-OCRv6 推出 Tiny (1.5M)、Small (7.7M) 和 Medium (34.5M) 三档模型，覆盖浏览器、嵌入式设备到服务器等主流算力平台，实现按需部署。相比 PP-OCRv5，文字检测和识别精度分别提升 4.9% 和 5.1%，达到代际跨越。性能方面，Medium 模型端到端延迟仅 1.1秒，Tiny 模型单图推理仅 20.3 毫秒。单模型支持 50 种语言，并新增电路板、数码管、CAD 图纸、喷码点阵字符等工业场景识别能力。与此同时，模型预测一致性和抗扰动能力显著增强，鲁棒性达到 PP-OCR 系列历史最佳水平。

SME2 对 AI 推理的关键作用

SME2 是 Arm 最新的矩阵处理架构扩展，旨在加速矩阵密集计算的 AI 工作负载。现代深度学习算子，例如卷积 (Conv)、融合卷积 (FusedConv)、矩阵乘法 (MatMul)，基本上是通用矩阵乘法 (GEMM) 工作负载。SME2 引入了专用矩阵处理能力，相比传统基于 Neon 的实现在计算吞吐量上取得了显著提升。通过 KleidiAI 集成，ONNX Runtime 等框架可以无缝利用 SME2 优化的内核，而无需在应用层进行更改。

对于开发者来说，这意味着：

更快的 AI 推理速度；

更低的整体功耗；

更优的 CPU 利用率；

更低的端侧 AI 延迟；

提升用户体验，且无需依赖 NPU 或云端连接。

测试配置

平台

设备：vivo X300

SoC：MediaTek 天玑 9500

操作系统：Android 16

CPU：

1x Arm C1-Ultra, 4.21GHz

3x Arm C1-Premium, 3.5GHz

4x Arm C1-Pro, 2.7GHz

SME2：启用

软件

ONNX Runtime v1.27.0

启用和未启用 KleidiAI 的版本对比

相同的模型二进制和 Runtime 配置

模型

评估了以下三个 PP-OCRv6 模型：

每条管线由以下组成：

1 Image

2 → Detection (DET) - 1.36x speed up by SME2 (medium)

3 → Text Region Extraction

4 → Recognition (REC) - 2.27x speed up by SME2 (medium)

5 → Text Output

SME2 的提升效果

算子层级的详细分析显示，SME2 加速优势集中在矩阵乘密集型算子。

识别网络提升效果最为显著

OCR 识别模型包含密集卷积层和矩阵乘法层。识别加速可实现：

在中型模型算子加速表现如下：

Conv 算子实现了最高 3.03 倍的速度提升

FusedConv 算子实现了最高 2.49 倍的速度提升

MatMul 算子实现了最高 1.78 倍的速度提升

这使得识别 (REC) 成为 SME2 的理想工作负载。

为什么模型越大，成效越显著?

其中一项有趣的发现是，随着模型维度的扩大，SME2 所带来的提升效果也会增加。算子分析显示：

原因很简单：SME2 加速了 GEMM 计算核心，而内存分配、张量打包、im2col 变换、数据迁移等运算仍受内存带宽限制。更大的神经网络在 GEMM 内核中执行耗时占比更高，因此 SME2 能释放出更高比例的理论加速收益。这是阿姆达尔定律 (Amdahl’s Law) 的经典实践例子。

端到端 OCR 性能

完整的 OCR 管线是

DET → 后处理 → 裁剪 → REC → 解码

参考原图（分辨率 720x1150）→ 检测模型输入（调整为 704x1152）。三档模型均稳定输出四个文本框/四行文字，识别结果准确且前后一致。

对于应用开发者来说，最关键的指标是总 OCR 延迟。

利用 SME2 实现端到端加速

关键洞察

随着模型规模的增长，SME2 的提升效果也随之增加。例如，PP-OCRv6 Medium 上所取得的成效如下：

端到端延迟从 1657 毫秒降至 1144 毫秒；

延迟降低近 31%；

整体 OCR 速度提升 1.45 倍。

面向追求更高 OCR 识别精度的开发者，SME2 可直接实现性能提升，而无需重新设计模型。

给开发者的总结

以下是在 Arm 计算平台上部署 PaddleOCR 的几条实用经验：

大模型场景下 SME2 增益最突出：以识别精度为核心目标的 OCR 部署方案，采用 SME2 加速后提升最为显著。

识别网络是 SME2 优化核心对象：REC 阶段以 GEMM 运算为主，启用 SME2 后推理速度可提升两倍以上。

无需改动原有模型：利用 KleidiAI 与 1.24 版本以上 ONNX Runtime，通过启用 SME2 运行时内核即可实现加速；现有 PaddleOCR 工作流无需重新训练、调整网络结构，直接适配受益。

CPU 端 AI 算力持续迭代升级：移动端大量 AI 工作负载高度依赖 CPU。SME2 显著缩小了通用计算与专用 AI 加速器之间的差距，适用于广泛的推理任务，不需额外的算子适配工作。

结论

本文所示的 PaddleOCR 评估展现了 Arm SME2 技术在实际 AI 工作负载中的价值。结果显示：

OCR 识别模型的加速可达 2.27 倍；

端到端的 OCR 加速可达 1.45 倍；

随着模型尺寸增大，效益也更大；

通过支持 KleidiAI 的 ONNX Runtime 实现无缝集成。

随着 AI 工作负载变得愈发复杂，SME2 为在 Arm 计算平台上基于 CPU 的 AI 性能扩展提供了重要基础。对于构建依赖 OCR 的文档智能、翻译、支付、零售、物流或生成式 AI 体验的开发者来说，SME2 提供一条清晰的优化路径，既能降低推理时延、提升处理吞吐量，又可保障软件在整个 Arm 生态系统中具备良好可移植性。

Arm CPU 不仅承担 AI 工作负载的运行工作，更能为 AI 推理实现加速。

• ARM ARM 关注

  关注

  135

  文章

  9662

  浏览量

  397205