基于深度神经网络的图像语义分割方法、装置及设备

    公开(公告)号:CN117115448B

    公开(公告)日:2024-01-30

    申请号:CN202311368793.8

    申请日:2023-10-23

    申请人: 临沂大学

    摘要: 本发明公开了一种基于深度神经网络的图像语义分割方法、装置及设备,属于计算机视觉与图像处理技术领域。方法包括步骤:采集手术过程中的现场图像数据,构建训练数据集;对训练数据集进行预处理,并划分为训练集和测试集;建立语义分割模型,基于训练集采用二值分割、部件分割和器械类别分割模式分别根据训练损失采用优化器进行模型训练并更新模型的权重;将测试集中的样本数据按所需分割模式输入训练后的相应语义分割模型,获取各模式下语义分割模型的识别准确度;采用优化后的语义分割模型对手术过程中的实时采集的现场图像数据进行图像语义分割,并输出语义分割图像。本发(56)对比文件Guhan K et al..Multi-ObjectSegmentation on Public Roads《.2023International Conference on InventiveComputation Technologies (ICICT)》.2023,第1390-1395页.陈宗铭等.基于深度学习的页岩扫描电镜图像有机质孔隙识别与比较《.地学前缘》.2022,第1-14页.青晨等.深度卷积神经网络图像语义分割研究进展《.中国图象图形学报》.2020,第25卷(第06期),第1069-1090页.

    一种机器人完全解析手眼标定方法

    公开(公告)号:CN118181290B

    公开(公告)日:2024-08-16

    申请号:CN202410407444.0

    申请日:2024-04-07

    申请人: 临沂大学

    IPC分类号: B25J9/16 B25J18/00

    摘要: 本申请涉及一种机器人完全解析手眼标定方法,通过采集机械臂末端执行器和视觉系统坐标系相邻两次运动的相对位姿矩阵建立手眼标定方程,提取等效旋转轴后将优化目标函数中手眼矩阵的旋转部分转化为四元数表达,通过特征向量‑特征值恒等式求解手眼矩阵的旋转部分,进而求解手眼矩阵的平移向量,最终获得手眼矩阵。本申请解决了现有技术中传统方法导致的手眼标定问题不清晰、效率低的问题,本申请可提高手眼标定方法的清晰性,提高计算效率。

    基于深度神经网络的图像语义分割方法、装置及设备

    公开(公告)号:CN117115448A

    公开(公告)日:2023-11-24

    申请号:CN202311368793.8

    申请日:2023-10-23

    申请人: 临沂大学

    摘要: 本发明公开了一种基于深度神经网络的图像语义分割方法、装置及设备,属于计算机视觉与图像处理技术领域。方法包括步骤:采集手术过程中的现场图像数据,构建训练数据集;对训练数据集进行预处理,并划分为训练集和测试集;建立语义分割模型,基于训练集采用二值分割、部件分割和器械类别分割模式分别根据训练损失采用优化器进行模型训练并更新模型的权重;将测试集中的样本数据按所需分割模式输入训练后的相应语义分割模型,获取各模式下语义分割模型的识别准确度;采用优化后的语义分割模型对手术过程中的实时采集的现场图像数据进行图像语义分割,并输出语义分割图像。本发明提高了手术机器人器械语义分割的准确性,更好地应用于RMIS场景。

    一种绳驱并联多自由度主操作手及工作方法

    公开(公告)号:CN118181265A

    公开(公告)日:2024-06-14

    申请号:CN202410493455.5

    申请日:2024-04-23

    申请人: 临沂大学

    IPC分类号: B25J9/10 B25J9/00 B25J13/08

    摘要: 本发明涉及一种绳驱并联多自由度主操作手及工作方法,位置检测‑力反馈机构包括沿圆周方向均匀设置在装件立板上的至少三组第一鱼眼关节,第一鱼眼关节围合成的圆心处设有支撑架,支撑架绕垂直轴转动,伸缩杆穿过支撑架与齿轮啮合,伸缩杆绕水平轴转动,垂直轴、水平轴和齿轮分别连接相应的伺服电机和有编码器;姿态检测‑力反馈机构包括手柄圆盘,手柄圆盘一侧连接手柄,另一侧连接伸缩杆;手柄圆盘沿圆周方向均匀设置有至少三组第二鱼眼关节,每一组第二鱼眼关节通过驱动丝与相对应的第一鱼眼关节连接,第一鱼眼关节内设有与驱动丝对应连接的绕线轮、伺服电机和编码器。通过编码器和伺服电机向手柄产生相应位置和姿态的反馈力。

    基于图像特征的钢轨螺栓锈蚀区域分割方法

    公开(公告)号:CN117237396A

    公开(公告)日:2023-12-15

    申请号:CN202311523044.8

    申请日:2023-11-16

    IPC分类号: G06T7/136 G06T7/11 G06T7/90

    摘要: 本发明涉及图像处理技术领域,具体涉及基于图像特征的钢轨螺栓锈蚀区域分割方法,包括:采集钢轨螺栓灰度图像;根据钢轨螺栓灰度图像得到参考区域;根据参考区域得到高灰度像素点以及低灰度像素点;根据高灰度像素点以及低灰度像素点得到分割必要性;根据分割必要性得到核心阈值区域以及传统对比参考区域;根据核心阈值区域与传统对比参考区域得到重合符合程度;根据重合符合程度得到初始分割阈值;根据初始分割阈值得到分割阈值;根据分割阈值得到最终自适应阈值;根据最终自适应阈值对钢轨螺栓灰度图像得到锈蚀区域。本发明使获取的锈蚀区域更加完整,提高了分割锈蚀区域的精度。

    一种机器人完全解析手眼标定方法

    公开(公告)号:CN118181290A

    公开(公告)日:2024-06-14

    申请号:CN202410407444.0

    申请日:2024-04-07

    申请人: 临沂大学

    IPC分类号: B25J9/16 B25J18/00

    摘要: 本申请涉及一种机器人完全解析手眼标定方法,通过采集机械臂末端执行器和视觉系统坐标系相邻两次运动的相对位姿矩阵建立手眼标定方程,提取等效旋转轴后将优化目标函数中手眼矩阵的旋转部分转化为四元数表达,通过特征向量‑特征值恒等式求解手眼矩阵的旋转部分,进而求解手眼矩阵的平移向量,最终获得手眼矩阵。本申请解决了现有技术中传统方法导致的手眼标定问题不清晰、效率低的问题,本申请可提高手眼标定方法的清晰性,提高计算效率。

    术中内窥镜绝对与相对位姿计算的方法、装置及设备

    公开(公告)号:CN117671012B

    公开(公告)日:2024-04-30

    申请号:CN202410129170.3

    申请日:2024-01-31

    申请人: 临沂大学

    摘要: 本发明公开了一种术中内窥镜绝对与相对位姿计算的方法、装置及设备,属于计算机视觉与图像处理技术领域。方法包括步骤:构建RMIS场景下的虚拟数据集和真实世界‑模拟数据集;对上述数据集进行数据预处理;建立单编码器‑双解码器的内窥镜位姿估计模型;对内窥镜位姿估计模型进行训练和评估,得到训练后的内窥镜位姿估计模型;实时采集RMIS过程中内窥镜系统捕获的患者体内图像数据,并输入至训练后的内窥镜位姿估计模型,获得实时图像对应的内窥镜绝对位姿数据;基于内窥镜绝对位姿数据,计算内窥镜的实时相对位姿。本发明提高了RMIS场景下的自动化水平与手术机器人响应外科医生的准确性,保证了机器人辅助微创手术中患者的安全。

    术中内窥镜绝对与相对位姿计算的方法、装置及设备

    公开(公告)号:CN117671012A

    公开(公告)日:2024-03-08

    申请号:CN202410129170.3

    申请日:2024-01-31

    申请人: 临沂大学

    摘要: 本发明公开了一种术中内窥镜绝对与相对位姿计算的方法、装置及设备,属于计算机视觉与图像处理技术领域。方法包括步骤:构建RMIS场景下的虚拟数据集和真实世界‑模拟数据集;对上述数据集进行数据预处理;建立单编码器‑双解码器的内窥镜位姿估计模型;对内窥镜位姿估计模型进行训练和评估,得到训练后的内窥镜位姿估计模型;实时采集RMIS过程中内窥镜系统捕获的患者体内图像数据,并输入至训练后的内窥镜位姿估计模型,获得实时图像对应的内窥镜绝对位姿数据;基于内窥镜绝对位姿数据,计算内窥镜的实时相对位姿。本发明提高了RMIS场景下的自动化水平与手术机器人响应外科医生的准确性,保证了机器人辅助微创手术中患者的安全。