一种基于脑磁图的连续语音流语义解码方法

    公开(公告)号:CN118098242A

    公开(公告)日:2024-05-28

    申请号:CN202410168446.9

    申请日:2024-02-06

    Abstract: 本发明公开了一种基于脑磁图的连续语音流语义解码方法,本发明在受试者听连续语音流故事的实验范式下,采集受试者的脑磁信号。使用经过微调的预训练语言模型提取语音对应文本的连续词嵌入,构建神经网络模型并使用对比学习训练网络,以脑磁信号和受试者ID为输入,连续词嵌入为监督,输出重构的连续词嵌入。随后,使用语言模型和波束搜索的方法从重构的连续词嵌入中生成文本。结果显示,本发明提出的神经网络模型可以同时利用受试者之间的共性和个性的信息,实现对连续词嵌入的有效重构;此外,文本生成算法可以帮助实现从脑磁信号解码文本序列,优于现有的从闭集中有限条目进行挑选的闭集解码。

    一种基于脑电的想象语音解码方法

    公开(公告)号:CN118135986A

    公开(公告)日:2024-06-04

    申请号:CN202410168444.X

    申请日:2024-02-06

    Abstract: 本发明公开了一种基于脑电的想象语音解码方法。本发明在受试者先进行发声语音然后进行想象语音的实验范式下,分别采集受试者的语音信号和脑电信号。首先使用迭代式的自监督语音反演模型提取语音对应的发声轨迹参数,然后构建脑电‑轨迹解码模型并使用多任务学习的方式训练模型。在使用阶段,以脑电信号为输入,输出预测的发声轨迹参数,随后使用声道实验室VTL作为发音式语音合成模型从预测的发声轨迹参数中合成语音。结果显示,本发明提出的想象语音解码方法可以从受试者的脑电中有效地合成语音,客观指标和主观指标上都优于现有方法。

    视频去噪方法和视频去噪装置
    4.
    发明公开

    公开(公告)号:CN114331900A

    公开(公告)日:2022-04-12

    申请号:CN202111663359.3

    申请日:2021-12-30

    Inventor: 魏榕 张珏 程和平

    Abstract: 本申请涉及图像处理技术领域,具体涉及一种视频去噪方法和视频去噪装置,以及计算机可读存储介质和电子设备,解决了显微视频去噪难度高,去噪效果差的问题。该视频去噪方法,通过获取视频去噪模型,其中,所述视频去噪模型基于待去噪视频对应的多个增噪视频和所述待去噪视频对初始网络模型进行训练得到,利用所述视频去噪模型,基于待去噪视频生成所述待去噪视频对应的降噪视频,从而使初始网络模型能够在训练中学习到待去噪视频的噪声信息,以使生成的视频去噪模型能够准确的对待去噪视频进行去噪,因此,利用视频去噪模型生成的待去噪视频对应的降噪视频更加准确。

    训练方法及训练装置
    5.
    发明授权

    公开(公告)号:CN114333068B

    公开(公告)日:2025-02-25

    申请号:CN202111680833.3

    申请日:2021-12-30

    Inventor: 王瑶 张珏 程和平

    Abstract: 本申请提供了一种训练方法及训练装置。所述方法包括:获取训练样本,所述训练样本为记录啮齿类动物运动的图像序列;将所述训练样本输入神经网络模型,得到所述啮齿类动物的姿态的识别结果,所述识别结果包括所述啮齿类动物的姿态中的关键点;根据所述啮齿类动物的姿态的识别结果,利用损失函数,使用梯度下降法对所述神经网络模型进行训练。其中,所述损失函数包括时间约束项,所述时间约束项用于约束所述啮齿类动物的姿态中的关键点在所述图像序列中的相邻图像帧之间的位置。根据上述方法训练的神经网络模型在进行小鼠等啮齿类动物的姿态识别时,能够有效避免识别结果在时域上的抖动现象。

    处理图像序列的方法及装置

    公开(公告)号:CN114359802B

    公开(公告)日:2024-07-05

    申请号:CN202111680425.8

    申请日:2021-12-30

    Inventor: 王瑶 张珏 程和平

    Abstract: 本申请公开了一种处理图像序列的方法及装置。所述方法包括:利用第一神经网络对所述图像序列进行多次识别,其中,所述第一神经网络在所述多次识别中采用的模型参数不同;根据所述多次识别,确定所述第一神经网络对所述图像序列中的图像的识别结果;利用多种识别算法对所述图像序列进行多视角识别;根据所述多视角识别,确定所述多种识别算法与所述第一神经网络对所述图像序列中的图像的识别结果的一致性;根据所述多种识别算法与所述第一神经网络对所述图像序列中的图像的识别结果的一致性,从所述图像序列中选取第一图像集合,其中,所述第一图像集合中的图像的识别结果无需进行人工质检。

    处理图像序列的方法及装置
    7.
    发明公开

    公开(公告)号:CN114359802A

    公开(公告)日:2022-04-15

    申请号:CN202111680425.8

    申请日:2021-12-30

    Inventor: 王瑶 张珏 程和平

    Abstract: 本申请公开了一种处理图像序列的方法及装置。所述方法包括:利用第一神经网络对所述图像序列进行多次识别,其中,所述第一神经网络在所述多次识别中采用的模型参数不同;根据所述多次识别,确定所述第一神经网络对所述图像序列中的图像的识别结果;利用多种识别算法对所述图像序列进行多视角识别;根据所述多视角识别,确定所述多种识别算法与所述第一神经网络对所述图像序列中的图像的识别结果的一致性;根据所述多种识别算法与所述第一神经网络对所述图像序列中的图像的识别结果的一致性,从所述图像序列中选取第一图像集合,其中,所述第一图像集合中的图像的识别结果无需进行人工质检。

    训练方法及训练装置
    8.
    发明公开

    公开(公告)号:CN114333068A

    公开(公告)日:2022-04-12

    申请号:CN202111680833.3

    申请日:2021-12-30

    Inventor: 王瑶 张珏 程和平

    Abstract: 本申请提供了一种训练方法及训练装置。所述方法包括:获取训练样本,所述训练样本为记录啮齿类动物运动的图像序列;将所述训练样本输入神经网络模型,得到所述啮齿类动物的姿态的识别结果,所述识别结果包括所述啮齿类动物的姿态中的关键点;根据所述啮齿类动物的姿态的识别结果,利用损失函数,使用梯度下降法对所述神经网络模型进行训练。其中,所述损失函数包括时间约束项,所述时间约束项用于约束所述啮齿类动物的姿态中的关键点在所述图像序列中的相邻图像帧之间的位置。根据上述方法训练的神经网络模型在进行小鼠等啮齿类动物的姿态识别时,能够有效避免识别结果在时域上的抖动现象。

    数据同步方法及装置、存储介质及电子设备

    公开(公告)号:CN120021179A

    公开(公告)日:2025-05-20

    申请号:CN202311543578.7

    申请日:2023-11-20

    Abstract: 本公开提供了一种数据同步方法及相关设备,涉及神经科学领域、生物医学成像。该方法包括:获取当前时间,并基于当前时间校准第一设备的时钟;获取目标实验生物对应的多个同步信号,多个同步信号对应于多个待同步数据,其中,多个同步信号中包括微型化双光子显微镜的采集起始信号和行为学相机的曝光信号,多个待同步数据用于表征目标实验生物的体征,多个待同步数据中包括目标实验生物的双光子图像数据和目标实验生物的行为学视频数据;基于第一设备的时钟,确定多个同步信号各自对应的时间标识信息;将多个同步信号各自对应的时间标识信息输出至第二设备,以便第二设备基于多个同步信号各自对应的时间标识信息进行多个待同步数据之间的同步配准。

    多光子显微镜主机及多光子显微镜系统

    公开(公告)号:CN115826218B

    公开(公告)日:2024-07-23

    申请号:CN202211364119.8

    申请日:2022-11-02

    Abstract: 本申请提供一种多光子显微镜主机及多光子显微镜系统,多光子显微镜主机包括安装主体以及集成于安装主体上的宽场搜寻模块、激光耦合模块、荧光收集模块和扫描控制模块;宽场搜寻模块用于对活体进行宽视野成像,以在活体搜寻上用于安装显微镜探头的目标区域;激光耦合模块用于接收激光并对激光进行调整以将激光耦合进激光传输光纤;扫描控制模块设置为通过控制电缆与显微镜探头连接,用于控制显微镜探头进行激光扫描以产生荧光信号;荧光收集模块设置为通过荧光收集光纤与显微镜探头连接,用于收集显微镜探头输出的荧光信号。本申请提供的技术方案,多光子显微镜主机具有体积小、易于搬运、使用方便以及安装和维护容易等优点。

Patent Agency Ranking