跃昉科技实现DeepSeek大模型本地化运行

LeapFive

从“云端排队”到“拥有私人 Co-Pilot”，边缘AI也能行！

DeepSeek 问答响应又超时了？

“无需机房，无需服务器，一枚U盘即可驱动DeepSeek大模型？” 是的，我们做到了！

跃昉科技，作为国内领先的RISC-V架构SoC芯片公司，成功将DeepSeek大模型本地化运行，以U盘形态重新定义AI计算的使用方式。

AMC（AI Mini Computer）由跃昉科技基于自研RISC-V芯片打造，通过USB 直连主机，兼容多种操作系统，支持本地化人工智能推理应用部署，如基于传统神经网络的视觉应用。现在，AMC又有了大模型应用的加持，不依赖云端、不受网络波动，即插即用，随时推理。让普通电脑秒变AI工作站，让AI随时待命，快速响应，成为你的专属智能助手（Co-Pilot）！

小身材藏着大机会｜“可用”到“好用”的进行时

即插即用，无需服务器，USB接入，10秒完成部署。

3W超低功耗，计算性能表现与模型本身，都具备优化潜力。

本地私有知识库，保护数据隐私，随身携带，安全可控。

网页本地化访问（测试版），相比云端排队、等待响应，你的AI助手随时在线。

*已经实际部署运行成功的模型

UI 界面：设计简洁直观，用户可快速上手，无需复杂配置，Less is More。

OTA 场景化模型，开启边缘AI计算新范式！

在 AI 计算迈向多场景应用的今天，开发者希望更灵活地训练和部署模型，用户则期待AI能够精准适配个性化需求。然而，传统AI计算依赖云端，高算力成本、网络延迟、数据隐私等问题，使其难以真正落地到边缘多样化应用场景。

部署DeepSeek到AMC的过程，也引发了我们更深层的思考并发现：DeepSeek 的小型化、低成本、边缘设备 OTA（Over the Air 空中升级） 特性，有机会成为边缘AI计算全新的应用落地方法，推动AI计算从云端走向边缘，让AI适配更精细、更灵活地适配本地化应用。

“大而全”的模型并不适用于边缘AI应用，应该按场景的需要做更适配、更精巧、更高效的模型

边缘 AI 计算的核心在于精准解决特定场景问题，那么合适的模型从何而来？我们认为可以通过开放的场景化模型市场，吸引更多的开发者加入进来，针对教育、工业、办公、个人助手等不同需求，训练更精巧的 AI 模型，以适配本地场景化的应用需求。

OTA有可能成为AI场景动态适配的标准方式

传统OTA仅用于远程软件升级，如果考虑边缘AI基于场景化的应用，则OTA就需要一个新增的按需拉取和部署AI模型的能力，使边缘设备尽管在硬件资源限制条件下，仍可以通过动态的模型选择，得到较好的AI交互体验。

商业模式也将有革新机会，边缘AI的生态将创造更高价值

“OTA 场景化模型”这样的新范式，将为边缘AI计算构建开放的，可订阅、可迭代的模型市场提供可行性。用户可以低成本试用AI模型，再按需订阅，而开发者则可以通过市场提供AI模型，并接受用户的反馈不断优化模型体验，形成边缘AI计算的正向循环，加速AI在边缘端的落地应用。

我们认为未来的AI计算，不应该只存在于云端之上，更应该真正地属于个人！

而对于个人用户来说，专属AI 将可以变成个人成长的长期伙伴

每个人的知识、经验、决策方式都是独一无二的，所以AI应用也应该能做到个性化的应用。AMC的随身携带可以让AI在不同场景中适应用户需求，即时响应、智能辅助。与此同时，AMC通过长期数据存储与学习，不断沉淀、优化，逐步构建属于个人的Digital Twins（数字孪生），让AI计算真正理解，持续成长，成为个人的长期智慧资产。

离线运行，多场景随时调用，无论办公、学习还是工业应用，AI即插即用，不依赖云端。

存储与回传，依托AMC本体32GB的存储能力，使用过程中的数据可本地化存储，也可主动同步到个人主机，形成专属AI记忆 。

让AI模型个性化成长，成为“最懂你的聪明助手”并且随时随地即时响应。

从 “大而全” 到 “小而精”，我们看到了AMC在AI计算领域的潜力，有望让AI计算变得更精准、更高效。场景化模型 OTA能让开发者更快构建AI，用户更自由地使用AI，推动AI计算从通用向定制、从固定向灵活、从单一向多元发展，真正赋能千行百业。

跃昉科技，依托RISC-V计算架构，不断探索芯片、边缘AI计算与智能互联的创新融合，加速推动国产AI计算自主化。我们相信，未来的AI计算不再是一种昂贵的资源，而是普惠的能力。个性化的智能，是一股驱动世界跃向更智能未来的核心动力！

广东跃昉科技有限公司聚焦研发基于RISC-V架构的SoC芯片产品及系统解决方案，并提供从操作系统到云平台的全栈基础智能软件服务，通过融合人工智能、物联网、区块链等交叉领域技术为中国数字经济的创新应用赋能。

跃昉科技作为RISC-V架构SoC芯片设计及产业应用的开拓者，已推出系列基于RISC-V架构的高性能SoC芯片及产品，覆盖AIoT边端物联、控制和计算等应用领域，集高效能计算资源、丰富工业接口、稳定可靠品质等特性于一体。依托于全栈技术能力，跃昉科技正持续深耕于智慧能源、智慧物流、智慧城市、智慧工厂等领域，旨在为客户带来专业化、高品质的产品和服务。

• RISC-V RISC-V 关注

  关注

  46

  文章

  2377

  浏览量

  47084