公开(公告)号：CN118484648A

公开(公告)日：2024-08-13

申请号：CN202410463613.2

申请日：2024-04-17

申请人： 南方科技大学

发明人： 郑锋 ,  赵珊珊 ,  朱家辉

IPC分类号： G06F18/21 ,  A61B5/398 ,  A61B5/00 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/084 ,  G06T11/00

摘要： 本申请提供了一种小鼠视网膜信号重构方法和装置、电子设备及存储介质，属于图像处理技术领域，通过第一生成器依次对局部、全局、闪烁、颜色、形状以及视频刺激范式的各个视网膜电成像信号进行第一刺激范式重构，得到多个第一预测刺激范式，通过判别器分别对局部、全局、闪烁、颜色、形状、视频刺激范式以及各个第一预测刺激范式进行图像判别，构建第一、第二损失，根据局部、全局、闪烁、颜色、形状、视频刺激范式、各个视网膜电成像信号以及各个第一预测刺激范式确定第三损失，根据第一、第二、第三损失交替更新第一生成器和判别器得到目标生成器，通过目标生成器对目标视网膜电成像信号进行刺激范式重构，能够准确模拟视觉刺激信息的编码方式。

公开(公告)号：CN118551157A

公开(公告)日：2024-08-27

申请号：CN202410580278.4

申请日：2024-05-11

申请人： 南方科技大学

发明人： 郑锋 ,  赵珊珊 ,  李俊钢

IPC分类号： G06F18/10 ,  A61B3/00 ,  A61B3/10 ,  A61B3/14 ,  G06F18/213 ,  G06F18/214 ,  G06N3/0455 ,  G06N3/0442 ,  G06N3/0475 ,  G06N3/08

摘要： 本申请提供了一种基于长距注意力机制的多模态视网膜信号重构方法和装置，属于图像处理技术领域，通过第一长短时记忆子模型对上一时间步的第一输出状态、上一时间步的第二输出状态和目标视网膜电成像信号进行第一特征编码得到第一输出状态，且根据第一输出状态确定长距注意力，通过第二长短时记忆子模型对上一时间步的第二输出状态、第一输出状态和长距注意力进行第二特征编码得到初始视网膜信号特征，通过信号对齐模块对初始视网膜信号特征进行信号对齐得到目标对齐信号特征，信号对齐模块基于样本刺激范式特征和样本视网膜电成像信号特征进行训练得到，通过目标生成器对目标对齐信号特征进行刺激范式生成，能够准确模拟视觉刺激信息的编码方式。