公开(公告)号：CN116416258A

公开(公告)日：2023-07-11

申请号：CN202310376811.0

申请日：2023-04-11

Applicant: 北京理工大学

Inventor： 朱林 ,  陈现章 ,  王立志 ,  张磊 ,  黄华

IPC: G06T7/11 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/0499 ,  G06N3/08 ,  G06V10/75 ,  G06V10/80 ,  G06V10/82

Abstract: 本发明公开一种面向时空事件脉冲流的目标区域分割方法及系统，属于视频分割领域。本发明通过将连续的事件脉冲流转化为特定的输入表示，有效的适配传统神经网络的输入；通过循环神经网络提取信息并记忆过去特征，提高模型对连续事件脉冲输入的特征提取能力；通过循环特征编码器匹配目标，同时更新的隐藏状态，建模时空关系，提高模型对目标的查询匹配能力；通过特征解码器获取目标在当前与过去时刻的注意力关系矩阵，提高模型对特征匹配的鲁棒性；通过跳跃连接将中间特征输入分割头，提高目标区域分割模型对粗粒度和细粒度信息的特征融合能力，进而提高预测目标区域的准确性。本发明适配低光、高速场景，且能够分割任意时刻的目标区域。

公开(公告)号：CN117253039A

公开(公告)日：2023-12-19

申请号：CN202311242487.X

申请日：2023-09-25

Applicant: 北京理工大学

Inventor： 朱林 ,  陈现章 ,  王立志 ,  张磊 ,  黄华

IPC: G06V10/26 ,  G06V10/80 ,  G06N3/0464 ,  G06N3/08 ,  G06N3/044

Abstract: 本发明公开一种基于脉冲神经网络的目标分割方法与系统，属于目标分割领域。本发明通过事件脉冲转换关系将连续的事件脉冲流转化为适配脉冲神经网络的输入表示；通过脉冲神经元提取信息并记忆过去特征，提高目标分割模型对连续事件脉冲输入的特征提取能力，并降低能量消耗；通过时空特征聚合模块融合多时间步长特征，提高目标分割模型对特征的利用率；通过多尺度特征融合模块提高目标分割模型对粗粒度和细粒度语义信息的融合能力，并使用多时间步长损失约束目标分割模型收敛，降低目标分割模型对时间步长的依赖，提高目标分割模型的鲁棒性。本发明不仅能够以较低的功耗处理连续的时空事件脉冲流，还能够在低光、高速场景下取得准确的分割结果。