公开(公告)号：CN113888541B

公开(公告)日：2022-03-25

申请号：CN202111482885.X

申请日：2021-12-07

申请人： 南方医科大学南方医院

发明人： 陈豪 ,  李国新 ,  余江 ,  陈浩彬 ,  苟龙飞 ,  陈翊 ,  闫滕

IPC分类号： G06T7/00 ,  G06V10/44 ,  G06V10/764 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

摘要： 本发明公开了一种腹腔镜手术阶段的图像识别方法、装置及存储介质，方法包括：首先获取实时手术视频流，在所述实时手术视频流中截取关键帧图像；接着将每张所述关键帧图像划分为多个图像块；然后对所述多个图像块进行时空位置编码得到时间维度向量和空间维度向量；最后将所述时间维度向量和空间维度向量输入手术阶段识别模型得到手术阶段识别结果。本发明实现了对腹腔镜手术阶段的精准识别，并且可以应对复杂多阶段的腹腔镜手术阶段的图像识别，效率高且准确率高，可广泛应用于智慧医疗技术领域。

公开(公告)号：CN113902983B

公开(公告)日：2022-03-25

申请号：CN202111471854.4

申请日：2021-12-06

申请人： 南方医科大学南方医院

发明人： 陈豪 ,  李国新 ,  余江 ,  陈浩彬 ,  苟龙飞 ,  陈翊 ,  闫滕

IPC分类号： G06V20/20 ,  G06V10/80 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

摘要： 本发明的实施方式提供了基于目标检测模型的腹腔镜手术组织器官识别方法及装置。该方法包括：提取输入图像的第一特征图；对所述第一特征图进行局部信息静态建模和上下文信息动态建模，获取局部上下文信息增强的增强特征图；基于所述增强特征图进行目标检测，得到所述输入图像中包含的器官信息及相应的标识。本发明能够对输入图像提取特征图，并通过对特征图进行局部信息静态建模和上下文信息动态建模的方式对特征图的上下文信息进行增强，以使对增强后的特征图进行目标检测，可以得到更加准确的检测结果，可见，在手术操作过程中，通过上述方式进行目标检测，可以提高识别输入图像中形状变化较大的器官对应的信息的准确率。

公开(公告)号：CN113888541A

公开(公告)日：2022-01-04

申请号：CN202111482885.X

申请日：2021-12-07

申请人： 南方医科大学南方医院

发明人： 陈豪 ,  李国新 ,  余江 ,  陈浩彬 ,  苟龙飞 ,  陈翊 ,  闫滕

IPC分类号： G06T7/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

摘要： 本发明公开了一种腹腔镜手术阶段的图像识别方法、装置及存储介质，方法包括：首先获取实时手术视频流，在所述实时手术视频流中截取关键帧图像；接着将每张所述关键帧图像划分为多个图像块；然后对所述多个图像块进行时空位置编码得到时间维度向量和空间维度向量；最后将所述时间维度向量和空间维度向量输入手术阶段识别模型得到手术阶段识别结果。本发明实现了对腹腔镜手术阶段的精准识别，并且可以应对复杂多阶段的腹腔镜手术阶段的图像识别，效率高且准确率高，可广泛应用于智慧医疗技术领域。

公开(公告)号：CN113887545B

公开(公告)日：2022-03-25

申请号：CN202111482896.8

申请日：2021-12-07

申请人： 南方医科大学南方医院

发明人： 陈豪 ,  李国新 ,  余江 ,  陈浩彬 ,  苟龙飞 ,  陈翊 ,  闫滕

IPC分类号： G06V20/20 ,  G06V10/46 ,  G06N3/04 ,  G06N3/08

摘要： 本发明提供了一种基于目标检测模型的腹腔镜手术器械识别方法及装置。方法包括：提取输入图像的特征图；对特征图进行特定方向维度的特征增强，得到相应方向上特征增强的增强注意力权重，特定方向维度由待识别的目标外形确定；基于增强注意力权重和输入图像的特征图进行目标检测，得到所述输入图像中包含的器械信息及相应的标识。本发明能够对输入图像的特征图进行与待识别目标相契合的方向维度的注意力增强，进而进行目标检测，从而得到更加准确的识别结果，即能够从采集到的图像对应的注意力增强的特征图中准确地识别出所有操作器械，同时提升了识别出的操作器械的器械信息的识别结果，从而提高了操作过程中对于操作器械进行识别的准确率。

公开(公告)号：CN113902983A

公开(公告)日：2022-01-07

申请号：CN202111471854.4

申请日：2021-12-06

申请人： 南方医科大学南方医院

发明人： 陈豪 ,  李国新 ,  余江 ,  陈浩彬 ,  苟龙飞 ,  陈翊 ,  闫滕

IPC分类号： G06V20/20 ,  G06V10/80 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

摘要： 本发明的实施方式提供了基于目标检测模型的腹腔镜手术组织器官识别方法及装置。该方法包括：提取输入图像的第一特征图；对所述第一特征图进行局部信息静态建模和上下文信息动态建模，获取局部上下文信息增强的增强特征图；基于所述增强特征图进行目标检测，得到所述输入图像中包含的器官信息及相应的标识。本发明能够对输入图像提取特征图，并通过对特征图进行局部信息静态建模和上下文信息动态建模的方式对特征图的上下文信息进行增强，以使对增强后的特征图进行目标检测，可以得到更加准确的检测结果，可见，在手术操作过程中，通过上述方式进行目标检测，可以提高识别输入图像中形状变化较大的器官对应的信息的准确率。

公开(公告)号：CN113887545A

公开(公告)日：2022-01-04

申请号：CN202111482896.8

申请日：2021-12-07

申请人： 南方医科大学南方医院

发明人： 陈豪 ,  李国新 ,  余江 ,  陈浩彬 ,  苟龙飞 ,  陈翊 ,  闫滕

IPC分类号： G06K9/00 ,  G06N3/04 ,  G06N3/08

摘要： 本发明提供了一种基于目标检测模型的腹腔镜手术器械识别方法及装置。方法包括：提取输入图像的特征图；对特征图进行特定方向维度的特征增强，得到相应方向上特征增强的增强注意力权重，特定方向维度由待识别的目标外形确定；基于增强注意力权重和输入图像的特征图进行目标检测，得到所述输入图像中包含的器械信息及相应的标识。本发明能够对输入图像的特征图进行与待识别目标相契合的方向维度的注意力增强，进而进行目标检测，从而得到更加准确的识别结果，即能够从采集到的图像对应的注意力增强的特征图中准确地识别出所有操作器械，同时提升了识别出的操作器械的器械信息的识别结果，从而提高了操作过程中对于操作器械进行识别的准确率。