多模态感知 豆包大模型！家居端侧智能升级

本站报道（文/李弯弯）日前，在火山引擎2025春季FORCE原动力大会上，星宸 科技股份有限公司董事副总经理陈立敬谈到，在 人工智能技术飞速发展的时代，多模态感知与大模型的融合成为推动各行业变革的关键力量。星宸科技与豆包大模型的合作，将这一技术趋势落实到实际应用场景中，在 智能家居、可穿戴设备以及连锁店等领域引发了深刻变革。 智能家居升级 陈立敬指出：“智能家居2.0需要大模型大脑”。在智能家居领域，多模态感知与豆包大模型的结合实现了从基础连接控制到智能理解决策的跨越升级。传统的智能家居1.0时代，设备仅能实现简单的连接与控制功能，而如今智能家居2.0时代，星宸科技借助多模态感知技术，为设备赋予了“感知”能力。以SSC305DE产品为例，其具备1TOPs 2*CA32 CM4的计算能力，支持多模态感知且功耗较低，能接入双摄像头，搭配豆包大模型，构建起全面的智能看护体系。 在居家跌倒监测场景中，端侧设备通过视觉和语音等多模态信息初步识别，将有效帧、有效信息发送至云端豆包大模型进行确认。豆包大模型凭借强大的视觉理解和语音交互能力，不仅提高了事件识别率，避免误报、漏报，还能在确认跌倒后主动交互，及时通知家人和物业，保障老人安全。 此外，智能家居还接入豆包大模型实现问医问药、情感陪伴等功能。用户在家中就能通过设备获取专业医疗建议，与设备进行自然流畅的情感交流，满足情感陪伴需求。同时，通过在板端搭建RAG应用，结合云端大模型，打造智能管家和私人知识库，实现对个人私有数据的高效管理与智能问答。 大模型如何改变可穿戴场景 可穿戴设备领域同样因多模态感知与豆包大模型的结合而焕然一新。星宸科技的SSC309QL 小型化、低功耗产品，拥有15TOPs算力，适用于智能眼镜、智能胸牌等设备，为多模态交互提供了硬件基础。 智能眼镜成为个人豆包智能助理的最佳载体，在多个场景发挥重要作用。在学习场景中，智能眼镜通过多模态感知获取 学习资料、学生的学习状态等信息，结合豆包大模型的知识储备，为用户提供学习辅导和翻译服务；在工作场景中，可辅助会议记录、商务沟通和客户管理，成为高效的工作助理；在日常生活中，能实现快速拍照、录像、直播等功能，还可根据用户定义的感兴趣区域或物体，智能判断场景并截取精彩瞬间，生成集锦。在运动和旅游场景中，用户无需动手操作 手机，智能眼镜就能实时感知环境，结合豆包大模型提供导航、景点介绍等服务，真正实现解放双手，提升用户体验。 大模型应用之连锁店提效 在连锁店领域，多模态感知与豆包大模型的应用助力企业实现高效运营和精准管理。星宸科技的SSC388G多模态大算力产品，支持3路sensor输入，具备强大的多模态分析能力，配合豆包大模型，为连锁店带来全方位的提效方案。 在安防合规监测方面，通过实时行为监测与分析，能快速识别违法违规及可疑行为，并联动安防系统发出警报，保障店铺安全；在客流分析优化上，利用多模态数据进行客流预测，根据员工经验和能力合理排班，减少人力浪费，同时通过追踪客户移动路径，识别高流量区域，优化货架布局，提升排队及结算效率；在运营管理方面，可识别货架空置率，自动触发补货工单，还能判断价签与促销是否合规；在员工效率提升方面，实现动作标准化检测及工时统计。 以沃尔玛为例，通过应用相关技术，利用 AI摄像头将盗窃损失减少35%，借助多模态分析根据摄像头数据生成决策建议，利用热力图调整陈列，使高价值区域转化率提升18%；其他便利店也通过视觉补货系统降低缺货率27%，充分展现了该技术在连锁店运营中的巨大价值。 写在最后 多模态感知与豆包大模型的结合，为智能家居、可穿戴设备和连锁店等行业带来了显著的升级与变革。随着技术的不断发展和完善，这一技术组合有望在更多领域得到应用，持续推动各行业向智能化、高效化方向迈进，为人们的生活和生产方式带来更大的改变。