/ ai资讯

思必驰与上海交大联合实验室两篇论文入选ICML 2025

发布时间:2025-06-16 09:46:51

ICML(International Conference on Machine Learning)是机器学习领域的顶级学术会议之一,由国际机器学习学会(IMLS)主办,被中国计算机学会认定为A类会议。会议涵盖了机器学习的各个前沿方向,包括但不限于深度学习、强化学习、自然语言处理、计算机视觉、贝叶斯方法及优化算法等。

近日,ICML 2025公布了本届论文审稿结果,思必驰-上海交大联合实验室2篇论文被收录。本次收录的论文成果聚焦大语言模型可靠性、可解释性前沿研究方向,针对复杂任务执行与工具幻觉应对、大模型内部模块功能探测等关键技术取得重要突破,不仅增强了大模型在严肃场景下的可靠任务执行能力,还为产业级大模型的可解释审计、推理加速与低成本定制部署提供了全新技术路径。两项成果共同助力思必驰“让大模型更可靠、更可控、更高效”,以下为两项成果介绍:

大模型与工具协作的可靠性

Reducing Tool Hallucination via Reliability Alignment

针对大语言模型(LLMs)与外部工具交互中出现的工具幻觉问题,提出“Relign” 可靠性对齐框架,通过定义工具幻觉类型并引入RelyToolBench基准集,强化了模型在工具选择和使用上的可靠性,显著降低大模型的工具幻觉率并减少无效调用次数,从而同步提升任务成功率并节省算力与接口成本。

论文简介:大型语言模型(LLMs)的能力已从单纯的语言生成扩展到与外部工具的交互,从而实现了自动化和现实世界的应用。然而,工具幻觉(tool hallucinations)——即模型选择不恰当的工具或错误使用工具——带来了重大挑战,导致任务执行错误、计算成本增加以及系统可靠性降低。为系统性地解决这一问题,我们将工具幻觉定义并分类为两种主要类型:工具选择幻觉(tool selection hallucination)和工具使用幻觉(tool usage hallucination)。为评估和缓解这些问题,我们提出了RelyToolBench,该基准集整合了专门的测试案例和新颖的指标,用于评估考虑幻觉的任务成功率和效率。最后,我们提出了Relign,一个可靠性对齐框架,该框架将工具使用的动作空间扩展为包含犹豫性动作,允许LLMs推迟使用工具、寻求澄清或动态调整工具选择。通过大量实验,我们证明Relign 能显著减少工具幻觉,提升任务可靠性,并提高LLM工具交互的效率。

大模型可解释性与轻量化

Heads up! Large Language Models Can Perform Tasks Without Your Instruction via Selective Attention Head Masking

针对大语言模型内部模块组合的功能探测问题,提出二元注意力头掩码功能分区方法,可快速识别执行特定任务所需的关键注意力通路,并支持解释性、剪枝加速与小参数微调三合一,该成果助力思必驰在保持模型性能的同时大幅降低定制与部署成本。

论文简介:大语言模型(LLM)由众多Transformer模块构成,虽然这些模型可以执行各种功能,但如何将这些模块组合起来以展现各自独特的内在功能仍然是一个悬而未决的问题。本文研究了LLM内部的模块,并证明在推理过程中,仅通过屏蔽或保留特定的注意力头,LLM便能展现出特定任务的功能,而无需明确的指令或修改模型参数。针对不同模型和任务的实验表明,LLM天生编码了“功能路径”——这是一组结构化的、相互依赖的注意力头群,它们对于执行特定任务至关重要。这些路径不仅决定了模型的功能行为,还提高了参数效率,因为抑制路径之外的注意力头可以改善任务性能。

长期以来,思必驰深度参与国内外学术前沿研究,在ICASSP、INTERSPEECH、ACL、EMNLP、AAAI、ICML等顶级学术会议上屡获佳绩,持续产出高质量科研成果。思必驰-上海交大联合实验室凭借一系列高水平论文,彰显了在人工智能语音语言关键技术领域的深度探索和重大突破,为行业的发展注入了强大动力。思必驰秉持科研与产业应用紧密结合的理念,未来也将持续探索科技成果的应用转化。

作为专业的对话式人工智能平台型企业,思必驰具有源头技术创新和应用创新的能力,自2022年7月获国家科技部批准建设“语言计算国家新一代人工智能开放创新平台”以来,接连于2023-2024年获批组建苏州市、江苏省、长三角三级创新联合体,并于2025年携手上海交通大学、苏州大学,牵头组建“江苏省语言计算及应用重点实验室”,成为国家人工智能战略科技力量的重要组成部分。

思必驰承担了包括国家重点研发计划、国家发改委“互联网 ”重大工程和人工智能创新发展工程、国家工信部人工智能与实体经济深度融合项目、长三角科技创新共同体联合攻关计划项目等十余项国家级、省部级项目,展现出卓越的科研实力与项目落地能力。

思必驰深耕语音语言领域,凭借自主研发的核心技术多次在国际研究机构评测中夺得冠军;曾三度斩获国内人工智能最高奖“吴文俊奖”,荣获中国专利优秀奖,以及信通院车载智能语音交互系统最高级别认证等重要荣誉。技术创新能力备受全球瞩目,被高盛全球人工智能报告列为关键参与者,也被Gartner评为东亚五大明星AI公司之一。

截至2024年年底,思必驰拥有近100项全球独创技术,已授权知识产权1597件,其中已授权发明专利633项,参与了71项国家/行业/团体标准,获得23项国家级的产品认证。近期,大模型人机对话技术创新与产业赋能发展提速,思必驰坚持自主的大模型技术路线,即“构建可靠性优先的1 N分布式智能体系统:1 个中枢大模型 N 个垂域模型及全链路交互组件组成全功能系统”,以任务型交互为核心,结合智能硬件感知优势,构建垂域大模型和中枢大模型系统,服务企业客户。

免责声明:本文为转载,非本网原创内容,不代表本网观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。

如有疑问请发送邮件至:bangqikeconnect@gmail.com