-
公开(公告)号:CN117952969B
公开(公告)日:2024-06-21
申请号:CN202410346862.3
申请日:2024-03-26
Applicant: 济南大学
IPC: G06T7/00 , G06V10/25 , G06V10/26 , G06V10/762 , G06V10/764 , G06V10/82 , G06N3/045 , G06N3/08
Abstract: 本发明提出了一种基于选择注意力的子宫内膜癌分析方法及系统,涉及计算机视觉领域。本发明提出了选择注意力模块,通过采样学习token和K_token之间的稀疏关联来预测更新K_token,降低了传统自注意力的计算量,且K_token能够提供视觉内容上更有意义的信息,从而提高了捕获全局依赖的效率。对大尺寸病理切片进行标注、预处理后,使用滑动窗口进行切割,得到N张小的补丁图像,使用基于选择注意力的主干网络对补丁图像进行检测,得到组织细胞的良恶性结果,从而提高了子宫内膜癌病理切片的识别效果。
-
公开(公告)号:CN118097321A
公开(公告)日:2024-05-28
申请号:CN202410524655.2
申请日:2024-04-29
Applicant: 济南大学
IPC: G06V10/764 , G06V10/80 , G06V10/82
Abstract: 本发明提出了基于CNN和Transformer的车辆图像增强方法及系统,涉及计算机视觉领域。本发明提出一种特征调制Transformer模块,模块由L个交叉精炼融合块组成,每个交叉精炼融合块由高频增强残差块、矩形窗口注意力块、混合融合块组成。其中,高频增强残差块用于从输入特征中提取高频特征,矩形窗口注意力块用于捕捉输入特征的长距离依赖关系,然后通过混合融合块整合高频增强残差块和矩形窗口注意力块的输出。最后交叉提炼全局特征以获得最佳效果。
-
公开(公告)号:CN118072303A
公开(公告)日:2024-05-24
申请号:CN202410479420.6
申请日:2024-04-22
Applicant: 济南大学
IPC: G06V20/68 , G06V10/764 , G06V10/82 , G06N3/0464 , G06V10/26
Abstract: 本发明提出了一种基于MLP高效token交互的食品识别方法及系统,涉及计算机视觉领域。本发明首先是根据图像特征进行分块,将其投影到更高维度的特征空间,将图像输入到混合块,然后将图像在通道维度上分割特征,将一半的通道特征输入CGSMM来建模长距离交互,将剩余的特征输入LSMM来聚合局部交互,分别有效提高了模型的token交互能力和促进了token在局部区域的聚合。
-
公开(公告)号:CN117952969A
公开(公告)日:2024-04-30
申请号:CN202410346862.3
申请日:2024-03-26
Applicant: 济南大学
IPC: G06T7/00 , G06V10/25 , G06V10/26 , G06V10/762 , G06V10/764 , G06V10/82 , G06N3/045 , G06N3/08
Abstract: 本发明提出了一种基于选择注意力的子宫内膜癌分析方法及系统,涉及计算机视觉领域。本发明提出了选择注意力模块,通过采样学习token和K_token之间的稀疏关联来预测更新K_token,降低了传统自注意力的计算量,且K_token能够提供视觉内容上更有意义的信息,从而提高了捕获全局依赖的效率。对大尺寸病理切片进行标注、预处理后,使用滑动窗口进行切割,得到N张小的补丁图像,使用基于选择注意力的主干网络对补丁图像进行检测,得到组织细胞的良恶性结果,从而提高了子宫内膜癌病理切片的识别效果。
-
公开(公告)号:CN117257308A
公开(公告)日:2023-12-22
申请号:CN202311422803.1
申请日:2023-10-30
Applicant: 济南大学
IPC: A61B5/18 , G06V20/59 , G06V10/44 , G06V10/52 , G06V10/80 , G06V10/82 , G06N3/0455 , G06N3/048 , G06N3/094 , G06N3/0464 , G06F18/213 , G06F18/25 , G06F18/24
Abstract: 本发明属于计算机视觉领域,尤其涉及一种基于驾驶员眼动信息的驾驶员认知分心检测方法及系统,方法包括:获取驾驶员驾驶过程中的驾驶环境图像和驾驶员的眼动信息;对驾驶员的眼动信息进行预处理得到眼动注意力热图;基于多尺度融合对抗网络对当前帧的眼动注意力热图和驾驶环境图像进行多尺度特征提取以及多尺度特征融合后,得到当前帧的第一分类标签;将当前帧的多视图多尺度特征输入至时空融合网络中得到当前帧的第二分类标签;将当前帧的第一分类标签和第二分类标签进行加权融合后得到最终的驾驶员认知分心检测结果。本发明基于深度学习的激活与反向激活融合对抗网络对驾驶环境图像和眼动注意力热图进行特征融合,提高识别精度。
-
公开(公告)号:CN115546503A
公开(公告)日:2022-12-30
申请号:CN202211285533.X
申请日:2022-10-20
Applicant: 济南大学
IPC: G06V10/42 , G06V10/26 , G06V10/764 , G06V10/82 , G06V10/774 , G06N3/04 , G06N3/08
Abstract: 本发明公开了基于深度注意力的自适应多尺度视觉特征表达方法及系统,包括:获取原始神经网络模型作为SDA网络模块的主干分支,用于分层特征的提取;设计SDA网络模块的轻量化深度注意力分支,用于动态加权分层特征;堆叠多个SDA网络模块构成神经网络,即为基于深度注意力的自适应多尺度视觉特征表达的神经网络方法;对自适应多尺度特征表达神经网络SDA‑Net进行参数优化,所得到的神经网络模型可用于图像分类、目标检测和语义分割等视觉任务的主干。
-
公开(公告)号:CN112149805A
公开(公告)日:2020-12-29
申请号:CN202011016590.9
申请日:2020-09-24
Applicant: 济南大学
Abstract: 本发明公开了基于框架搜索的深度神经网络的加速与压缩方法及系统,包括:获取待压缩的原始神经网络模型,所述原始神经网络模型用于图像分类;对待压缩的原始神经网络模型进行权重的优化;对权重优化后的神经网络模型,保持权重固定不变,只进行框架参数优化;对框架参数优化后的神经网络模型进行裁剪,对裁剪后的神经网络模型进行微调,得到图像分类精度最高的神经网络模型,即为压缩后的神经网络模型。
-
公开(公告)号:CN112099632A
公开(公告)日:2020-12-18
申请号:CN202010974163.5
申请日:2020-09-16
Applicant: 济南大学
Abstract: 本发明提供了一种面向助老陪护的人‑机器人协同交互方法,本发明通过识别获得所需手势信息、认知目标和语音信息,并通过过滤处理,输出各模态的有效信息,通过基于意图理解的多模态融合算法在意图库的支持下输出意图槽,实现用户意图的准确捕获,并对意图槽和必要的识别结果一起作为输入信息,通过基于认知模型的协同任务决策算法进行处理,在知识库和规则库的支持下,输出子任务执行的决策结果,实现人‑机器人协同工作。本发明可在降低老人交互负担的前提下,提高老年人和机器人之间的任务完成的绩效,使得老年人对机器人的陪护给予较高的满意度评价。
-
公开(公告)号:CN112099630A
公开(公告)日:2020-12-18
申请号:CN202010958262.4
申请日:2020-09-11
Applicant: 济南大学
Abstract: 本发明公开一种多模态意图逆向主动融合的人机交互方法,包括:获取环境数据、用户的手势数据以及用户的语音数据;对所述环境数据进行场景感知获取环境信息,对所述手势数据进行手势信息提取获取手势意图,对所述语音数据进行语音信息提取获取语音意图;进行对环境信息、手势意图以及语音意图进行多模态意图提取获取融合意图;对所述融合意图进行信任度评价获取目标融合意图;按所述目标融合意图进行交互反馈。本发明融合意图结合环境时刻、手势数据、语音数据多模态提取而获得,使得意图识别更加准确;能够避免老年人因健忘而重复某一意图;通过主动问询的方式确认发生概率较低的融合意图是否用户本意,获取反映用户本意的目标融合意图。
-
公开(公告)号:CN110019845A
公开(公告)日:2019-07-16
申请号:CN201910303799.4
申请日:2019-04-16
Applicant: 济南大学
IPC: G06F16/36 , G06F16/332
Abstract: 本公开公开了一种基于知识图谱的社区演化分析方法及装置,该方法包括:调取数据库中某领域特定时间的文献信息,构建待分析关系网络;检测每个时间步的待分析关系网络的社区结构;构建相同无序对比例矩阵计算相似性阈值,根据两个社区的所述相同无序对比例的值与相似性阈值判断两个社区间的相似性;根据社区间的相似性构建社区相似矩阵,进行社区匹配,采用非连续时间步跟踪社区演化依次获得每个社区的演化序列,同时检测社区生命周期中的关键事件,并统计所述关键事件的数量来反映社区的演化状况。
-
-
-
-
-
-
-
-
-