大模型发展趋势：多模态、自主智能、边缘智能…

本站报道（文/李弯弯）近一年多以来，大模型技术和应用都在快速发展。无论是OpenAI、谷歌，还是百度、腾讯、字节等，大模型产品都已经经过了多次迭代，应用也在不断拓展。而接下来，大模型将呈现怎样的发展趋势，仍然是业界关注的重点。日前，在“太湖对话·人工智能 ”论坛上，诸多学术界和产业界人士就相关话题进行了深刻探讨。

AI大模型的五个发展方向

在会上，中国工程院院士，清华大学讲席教授、智能产业研究院（AIR）院长张亚勤谈到了AI大模型发展的五个方向。首先是多模态智能，即结合语言、文字、视频、激光雷达点云、3D结构信息、4D时空信息乃至生物信息，实现多尺度、跨模态的智能感知、决策和生成。

其次是自主智能，即将大模型作为一种工具，开发能够自主规划任务、编写代码、调动工具、优化路径的智能体，实现高度的自我迭代、升级和优化，实现自主智能。这里需要考虑模型间如何互相调用、模型如何使用工具、基础模型间如何进行联邦学习等。

如医疗智能体自主进化的模拟医院，他们首次搭建了基于LLM Agent的模拟医院，包含医患两类角色和诊疗八项关键流程。提出不依赖人工标注数据的”MedAgent-Zero”医疗智能自主进化策略。有两种方式自我进化：从正确回答积累样例，从错误回答总结经验。诊断上万模拟病人后，医疗智能体诊断两天相当于医生两年，医学只能体在MedQA子集上达到最优。

第三是边缘智能，将大模型部署到边缘设备端，如AI PC, AI手机，AI电视等，实现高效率、低功耗、低成本、低时延的处理和响应，从而实现边缘智能。

AIR和亚信在这方面已经有都个合作落地案例，如边缘一体机视频分析优化，利用运动向量，增量移动识别框，显著提升目标跟踪性能；大模型推理性能优化，基于运行时参数缓存机制，智能高效地管理MOE模型experts的换入换出，降低显存需求>50%；5G专网算力内生技术，利用基站BBU空闲算力提供服务，基于进程抢占的方法，有效提升BBU算力资源回收效率。

第四是物理（具身）智能：大模型正在被用到无人车、机器人、无人机、工厂、交通、 通讯、电网、电站和其他物理基础设施，提升其自动化和智能化水平，从而实现具身智能。张亚勤认为，谈到物理智能，机器人将会是大模型关键的落地方向，无人驾驶其实也是机器人的另一种形式，如支持全地形移动的自稳定送货平台，具有自主学习能力的低速自动驾驶等。

第五便是生物智能，将大模型应用到人脑、生命体、生物体里，实现大模型与生物体连结的生物智能，并最终实现信息智能、物理智能和生物智能的融合。

如AI 生命健康的典型案例，BrainCo脑机接口技术，该项目孵化于哈佛大学创新实验室，由华人团队主创，包括生物医学工程、材料学、脑科学、脑疾病、AI跨学科团队，这种非侵入式脑机接口量产产品登上Time周刊NASA官网。可穿戴脑机接口产品可应用于自闭症，睡眠障碍，闭环正念冥想、抑郁症，阿尔兹海默等。

自主学习、演进的大模型还在研究中

除此之外，在圆桌论坛环节，多位行业人士也就大模型的发展趋势做了详细探讨。阿里云智能首席技术官周靖人谈到，大模型非常明显的一个趋势就是多模态，现在知识体越来越多，不只是只有书本的知识，还有语言，还有视觉看到的物理界的东西，怎么更好地把各种知识体融合在一起是关键。

在他看来，重点需要考虑的是如何让大模型更趋向人类智能，还需要包括记忆体，如何把长期的记忆、短期的记忆都结合在一起。如此，今后就能够让大模型发展成更有个性、更有特点的产品，在不同领域都能够有不同的思考。同时大模型与真实世界有更多互动，相关的信息又会反馈给模型，这让的大模型就能够发展具有自我更新优化的能力。

不过就大模型目前的成熟度而言，还有待研究。周靖人谈到，在IT时代，让信息的获取触手可及，大模型过后，让知识的获取触手可及。现在，一个非常明确的点就是，大模型作为一个助手，它能够提供各种辅导的意见，但最后的决策还是在人，现在这种作为助手的大模型已经做得非常好，这是大模型发展的第一步。

而第二步要实现的是让大模型更为精准，现在大模型的回答还存在很多问题，如何让它十次回答十次都是精准的，周靖人认为这个还有优化空间。更进一步则是，让模型能够自我学习、自我演进，当然这一步目前来说也还在研究中。

澳门产业技术研究院院长、境成资本管理合伙人向江旭谈到，多模态大模型是通向AGI可行的道路。他认为，如何把大模型做到去影响、改变物理世界是一个趋势，如让具身智能（机器人等）成为可能，这也会让日后的养老更加便利。

清华大学惠妍讲席教授、AIR首席科学家马维英谈到了一个很新的角度。他认为，现在大家专注的焦点还是，大模型能看、能听、能写等，而这些方向的机会，主要还是在互联网大厂，如谷歌、微软等。

那么，是否有新的机会呢，不只是生成文章、图片这些。马维英考虑的是，希望不只是把人类只能作为模仿的关键，他认为生物、自然领域也有很多机会值得探索，如生物、化学、材料等，很多新的能源是否能够用AI去合成，在他看来，这些领域在未来十年会有巨大的机会。

写在最后

如今，大模型作为一个工具助手，已经具备非常强大功能，并且已经有了相当成熟的应用。如今大模型具备更多的智能，如GPT-4o，已经能够在于人类的互动中表达感情。而更进一步，大模型要实现自主学习、自主演进，也就是实现自主智能，仍然还需要持续研究。大模型带来的机会方面，除了互联网大厂掌握的文字、图片、视频生成等方面之外，对于新的企业来说，从自然领域，如生物、化学、材料等领域去探索，或许会看到新的机会。