用 AI 模型重构人类大脑成像过程，Meta 发布重磅研究-比特号,用 AI 模型重构人类大脑成像过程，Meta 发布重磅研究
- 主页 > 资讯
原文来源：AIGC开放社区
图片来源：由无界AI生成
全球社交、科技巨头Meta（Facebook、Instagram等母公司）在官网公布了一项重磅研究，通过MEG（脑磁图）开发了一种AI模型用于解码人类大脑中视觉活动的成像过程，并公布了论文。
据悉，这是一种每秒可进行数千次大脑活动侦测的，非侵入式神经成像技术，可实时重构出大脑在每一刻感知和处理的图像。可为科学界理解大脑如何表达、形成图像，提供了重要研究基础。
从应用场景来看，该技术能更好地理解、控制ChatGPT、Stable Difusion等AI模型的神经网络行动、神经元，提升内容输出准确率降低风险，向AGI（通用人工智能）演变奠定了基石。
放眼更大的目标，将加速“脑机接口”在临床方面的研发进程，帮助那些遭受脑损伤失去说话能力的人。
论文地址：https://ai.meta.com/static-resource/image-decoding
技术原理
从Meta发布的论文来看，Meta通过MEG开发的AI模型原理并不复杂，主要包含图像编辑、大脑、图像解码三大模块。
当我们的大脑进行活动时,会产生微弱的电流。根据物理定律,这些电流会引起周围磁场的变化。利用MEG高度敏感的仪器检测这些磁场变化,从而获得脑部活动的数据。
具体来说,MEG使用特殊的超导扼流计作为探测器。这些扼流计由超导环路组成,可以精确地捕捉到磁场的微小波动。
探测器的位置经过精心设计,覆盖头部周围，测试者只需要坐在MEG仪器中保持头部静止即可。
，时长00:31
MEG重构实验者大脑成像，每个图像大约每1.5秒呈现一次。
虽然大脑电流活动引起的磁场强度非常微小,但MEG的探测器经过放大和处理就可以清晰地记录下来。
MEG包含200-300个探测器,每个探测器的位置都对应大脑的特定区域。这样,MEG可以获得高时间分辨率的全头脑活动数据。
，时长00:22
一旦获得原始的MEG数据,研究人员就可以利用强大的神经网络对其进行解码,提取重要的视觉信息，用于重构大脑图像。
Meta表示，最初想使用功能磁共振成像（fMRI）来搜集人类大脑的电流信息，但在图像分辨率、图像间隔以及连续性方面都不如MEG。
图像编辑模块
该模块基于多个预训练的计算机视觉模型,从输入图像中提取语义特征向量,作为解码的目标表示。研究人员比较了监督学习模型、图像-文本匹配模型、自监督模型等,发现CLIP和DINO的表现最佳。
CLIP(Contrastive Language-Image Pretraining)通过图像-文本匹配进行预训练,获得泛化能力强的视觉语义特征。DINO(Distributional Invariance for Normalization)是一种自监督对比学习方法。
以CLIP为例,可以提取图像模块(CLIP-Vision)的平均特征或分类标记(CLS)特征,文本模块(CLIP-Text)的平均特征,并拼接组合作为图像的语义特征表示。
大脑模块
该模块使用卷积神经网络,用于输入MEG数据窗口,输出是预测的图像特征向量。需要端到端训练,学习将MEG的数据映射到图像输出的latent space。
研究人员使用了卷积神经网络结构,包含残差块和膨胀卷积块,可以捕捉MEG时序信息。同时添加注意力层、主体专属层等机制。
为了进行图像检索,大脑模块以CLIP损失函数为目标,学习最大化匹配图像的特征相似度。为进行图像生成,大脑模块以MSE损失为目标,直接预测图像模块的特征。
图像解码模块
为了更好地解码图像，研究人员使用了latent diffusion扩散模型，将大脑模块预测的特征向量作为条件,可以生成与输入图像语义一致的新图像。
将大脑模块输出的CLIP语义特征和AutoKL特征作为条件,指导模型生成语义一致的图像。利用DDIM采样算法,以及噪声引导等技巧,逐步从噪声分布生成清晰的图像。一般采用50步采样过程。
最后，使用感知指标(SSIM)和语义指标(CLIP相似度、SwAV特征相关度),评估图像的解码、生成质量。
实验测试方面，研究人员使用包含4名参与者的MEG数据集THINGS-MEG,该数据集包含22,448张唯一的自然图像。
通过MEG的测试,研究人员发现大脑对图像的反应，主要集中在刺激出现后0-250ms的时间段，生成的图像能够保留语义信息。虽然生成的图像不是很完美,但结果表明重构的图像保留了丰富的高级特征。
本文由某某资讯网发布，不代表某某资讯网立场，转载联系作者并注明出处：https://www.yuhuajia.cn/zixun/qcpudq6e.html
DTCC 泼冷水，比特币现货 ETF 还得看 SEC 脸色 « 上一篇 暂无 下一篇 »相关推荐
- 黑天鹅理论的缔造者再次批评加密货币
- 比特币为何涨不上去?
- 摄氏网络致力于就客户资金返还达成协议
- 俄罗斯央行讨论数字卢布与其他国家支付系统的整
- CZ：币安员工数量较一年前翻倍
- LINE旗下加密交易所Bitfront宣布关闭，明年3月底全面结束运营
- AAX副总裁：已从AAX离职，品牌不复存在信任也不复存在
- “WETH FUD”最早传播者：WETH永远不会脱锚
- Coinbase：机构投资者在熊市期间增持数字资产
- 信标链ETH2合约地址质押数达1539万枚ETH
热门文章
-
全球虚拟货币前100排名（2023最新版
2022年10月14日
-
维卡币价格表2022(维卡币现在价格）
2022年10月02日
-
π币国际价格(π币市场价格)
2022年09月27日
推荐文章
-
比特币失守16000美元/枚，日内跌幅4
2022年11月14日
-
当前加密货币总市值下跌至1.168万亿美
2023年05月22日
-
币安将尝试禁用在Skyrex上使用过的所
2022年11月14日
-
用 AI 模型重构人类大脑成像过程，Me
2023年10月26日
-
DTCC 泼冷水，比特币现货 ETF 还
2023年10月26日
经典文章
-
全球虚拟货币前100排名（2023最新版
2022年10月14日
-
维卡币价格表2022(维卡币现在价格）
2022年10月02日
-
π币国际价格(π币市场价格)
2022年09月27日
-
中本聪什么时候上线(中本聪币上市时间)
2022年09月24日
-
pi币的未来价值(pi币的未来价值是0，
2022年09月30日
-
钱峰雷可是环球币董事长(环球币董事长）
2022年10月03日
-
2022年pi币官方最新消息(2022年
2022年10月02日
-
派币2022年会上主网吗(2022派币上
2022年10月03日
-
pi币新闻(pi币今天最新消息）
2022年10月05日
-
飞儿币最新消息(fil币今日行情价格)
2022年09月29日
Copyright © 2002-2022 比特号 版权所有 网站备案号：闽ICP备20011267号-4
本文由某某资讯网发布，不代表某某资讯网立场，转载联系作者并注明出处：https://www.yuhuajia.cn/baike/i758v8no.html
MXC币国外买用什么平台（MXC币购买和交易神器） « 上一篇 买货币下载哪个好2023最新榜_虚拟货币应用软件相关推荐
- 环球币公告(中币公告）
- 全国虚拟货币不合规情况(虚拟货币不合规吗）
- 现在什么电视剧最火热(现在什么币最火热）
- 以太坊发行总量多少枚(以太坊共有多少个币）
- 奇亚币价格最新消息(奇亚币历史价格）
- shib最低价格是多少(shib最低价）
- π币怎样交易(π币能交易吗）
- 比特币可以无限生产吗(比特币怎么生产）
- 区块链现在怎么样(现在哪种区块链好）
- 韩国luna官方利好最新消息(luna币有利好吗）
原文来源：AIGC开放社区
图片来源：由无界AI生成
全球社交、科技巨头Meta（Facebook、Instagram等母公司）在官网公布了一项重磅研究，通过MEG（脑磁图）开发了一种AI模型用于解码人类大脑中视觉活动的成像过程，并公布了论文。
据悉，这是一种每秒可进行数千次大脑活动侦测的，非侵入式神经成像技术，可实时重构出大脑在每一刻感知和处理的图像。可为科学界理解大脑如何表达、形成图像，提供了重要研究基础。
从应用场景来看，该技术能更好地理解、控制ChatGPT、Stable Difusion等AI模型的神经网络行动、神经元，提升内容输出准确率降低风险，向AGI（通用人工智能）演变奠定了基石。
放眼更大的目标，将加速“脑机接口”在临床方面的研发进程，帮助那些遭受脑损伤失去说话能力的人。
论文地址：https://ai.meta.com/static-resource/image-decoding
技术原理
从Meta发布的论文来看，Meta通过MEG开发的AI模型原理并不复杂，主要包含图像编辑、大脑、图像解码三大模块。
当我们的大脑进行活动时,会产生微弱的电流。根据物理定律,这些电流会引起周围磁场的变化。利用MEG高度敏感的仪器检测这些磁场变化,从而获得脑部活动的数据。
具体来说,MEG使用特殊的超导扼流计作为探测器。这些扼流计由超导环路组成,可以精确地捕捉到磁场的微小波动。
探测器的位置经过精心设计,覆盖头部周围，测试者只需要坐在MEG仪器中保持头部静止即可。
，时长00:31
MEG重构实验者大脑成像，每个图像大约每1.5秒呈现一次。
虽然大脑电流活动引起的磁场强度非常微小,但MEG的探测器经过放大和处理就可以清晰地记录下来。
MEG包含200-300个探测器,每个探测器的位置都对应大脑的特定区域。这样,MEG可以获得高时间分辨率的全头脑活动数据。
，时长00:22
一旦获得原始的MEG数据,研究人员就可以利用强大的神经网络对其进行解码,提取重要的视觉信息，用于重构大脑图像。
Meta表示，最初想使用功能磁共振成像（fMRI）来搜集人类大脑的电流信息，但在图像分辨率、图像间隔以及连续性方面都不如MEG。
图像编辑模块
该模块基于多个预训练的计算机视觉模型,从输入图像中提取语义特征向量,作为解码的目标表示。研究人员比较了监督学习模型、图像-文本匹配模型、自监督模型等,发现CLIP和DINO的表现最佳。
CLIP(Contrastive Language-Image Pretraining)通过图像-文本匹配进行预训练,获得泛化能力强的视觉语义特征。DINO(Distributional Invariance for Normalization)是一种自监督对比学习方法。
以CLIP为例,可以提取图像模块(CLIP-Vision)的平均特征或分类标记(CLS)特征,文本模块(CLIP-Text)的平均特征,并拼接组合作为图像的语义特征表示。
大脑模块
该模块使用卷积神经网络,用于输入MEG数据窗口,输出是预测的图像特征向量。需要端到端训练,学习将MEG的数据映射到图像输出的latent space。
研究人员使用了卷积神经网络结构,包含残差块和膨胀卷积块,可以捕捉MEG时序信息。同时添加注意力层、主体专属层等机制。
为了进行图像检索,大脑模块以CLIP损失函数为目标,学习最大化匹配图像的特征相似度。为进行图像生成,大脑模块以MSE损失为目标,直接预测图像模块的特征。
图像解码模块
为了更好地解码图像，研究人员使用了latent diffusion扩散模型，将大脑模块预测的特征向量作为条件,可以生成与输入图像语义一致的新图像。
将大脑模块输出的CLIP语义特征和AutoKL特征作为条件,指导模型生成语义一致的图像。利用DDIM采样算法,以及噪声引导等技巧,逐步从噪声分布生成清晰的图像。一般采用50步采样过程。
最后，使用感知指标(SSIM)和语义指标(CLIP相似度、SwAV特征相关度),评估图像的解码、生成质量。
实验测试方面，研究人员使用包含4名参与者的MEG数据集THINGS-MEG,该数据集包含22,448张唯一的自然图像。
通过MEG的测试,研究人员发现大脑对图像的反应，主要集中在刺激出现后0-250ms的时间段，生成的图像能够保留语义信息。虽然生成的图像不是很完美,但结果表明重构的图像保留了丰富的高级特征。
本文由某某资讯网发布，不代表某某资讯网立场，转载联系作者并注明出处：https://www.yuhuajia.cn/zixun/qcpudq6e.html
DTCC 泼冷水，比特币现货 ETF 还得看 SEC 脸色 « 上一篇 暂无相关推荐
- 黑天鹅理论的缔造者再次批评加密货币
- 比特币为何涨不上去?
- 摄氏网络致力于就客户资金返还达成协议
- 俄罗斯央行讨论数字卢布与其他国家支付系统的整
- CZ：币安员工数量较一年前翻倍
- LINE旗下加密交易所Bitfront宣布关闭，明年3月底全面结束运营
- AAX副总裁：已从AAX离职，品牌不复存在信任也不复存在
- “WETH FUD”最早传播者：WETH永远不会脱锚
- Coinbase：机构投资者在熊市期间增持数字资产
- 信标链ETH2合约地址质押数达1539万枚ETH
免责声明：本文为转载，非本网原创内容，不代表本网观点。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容。
如有疑问请发送邮件至：bangqikeconnect@gmail.com