-
公开(公告)号：CN112099632B
公开(公告)日：2024-04-05
申请号：CN202010974163.5
申请日：2020-09-16
申请人： 济南大学
摘要： 本发明提供了一种面向助老陪护的人‑机器人协同交互方法，本发明通过识别获得所需手势信息、认知目标和语音信息，并通过过滤处理，输出各模态的有效信息，通过基于意图理解的多模态融合算法在意图库的支持下输出意图槽，实现用户意图的准确捕获，并对意图槽和必要的识别结果一起作为输入信息，通过基于认知模型的协同任务决策算法进行处理，在知识库和规则库的支持下，输出子任务执行的决策结果，实现人‑机器人协同工作。本发明可在降低老人交互负担的前提下，提高老年人和机器人之间的任务完成的绩效，使得老年人对机器人的陪护给予较高的满意度评价。
-
公开(公告)号：CN111340080B
公开(公告)日：2024-03-29
申请号：CN202010100890.9
申请日：2020-02-19
申请人： 济南大学
摘要： 本申请公开了一种基于互补卷积特征的高分辨率遥感影像融合方法及系统，在选取的高分辨率遥感影像上进行目标物手工标注；将标注好的全色图像和多光谱图像裁剪为预设尺寸输入到特征提取网络；分别进行特征提取，分别得到全色图像特征图和多光谱图像特征图；叠加全色图像特征图和多光谱图像特征图，送入特征融合网络进行特征融合，得到高分辨率的多光谱图像。在进行高分辨率遥感影像融合时，形成一个基于互补卷积特征融合的完整体系，可以对全色图像和多光谱图像分别进行特征提取，叠加后输入融合网络最终得到融合图像，大大提升了图像质量。并且虑了样本的多样性，图像大小灵活多变，特征提取更为符合图像特点，使得融合后的图像质量更好。
-
公开(公告)号：CN116895037A
公开(公告)日：2023-10-17
申请号：CN202310912141.X
申请日：2023-07-24
申请人： 济南大学
IPC分类号： G06V20/40 , G06T3/40 , G06V10/82 , G06N3/0464 , G06V10/86
摘要： 本发明属于计算机视觉技术领域，具体为一种基于边缘信息和多尺度交叉融合网络的帧插入方法及系统，包括：获取连续的两帧图像，对图像进行裁剪和尺度变换，得到裁剪后的原尺度图像以及尺度变换后的图像；对原尺度图像进行特征提取，利用基于边缘信息的特征增强模块对提取的特征进行增强得到增强后的特征；对增强后的特征进行尺度变换后，分别对不同尺度的增强后的特征进行像素级参数提取，接着使用自适应流协作根据提取的像素级参数对不同尺度的图像进行帧扭曲操作，得到三个尺度的扭曲帧；将三个尺度的扭曲帧输入多尺度交叉融合网络中以合成插值帧。本发明的基于边缘信息的特征增强模块能够使模型获得更加完整的特征图，从而提高模型性能。
-
公开(公告)号：CN109886164B
公开(公告)日：2022-11-04
申请号：CN201910094426.0
申请日：2019-01-30
申请人： 济南大学
IPC分类号： G06V40/10 , G06V40/20 , G06V10/74 , G06V10/762 , G06V10/764 , G06V10/774 , G06V10/80 , G06V10/82
摘要： 本发明提供了一种异常手势的识别与处理方法，包括：通过kinect获取人手深度图像；将[0,n/2]、[n/2,n]帧内的每一帧手势图像作CNN模型的正向传播，提取特征图像，对特征图像中的像素点进行聚类，获取第一特征值、第二特征值；利用RNN无监督学习深度网络，比较第一特征值与第二特征值的相似性；对神经网络分类后的手势图像进行正向特征提取，获取第一特征向量，将[0,n/2]帧和[n/2,n]帧进行融合，获取第二特征向量；对第一特征向量和第二特征向量进行误差逆向传播算法训练；反复迭代，得到最大相似手势。本发明解决了现有技术中对于手势的识别容易出现无法识别或者识别错误的异常问题，实现提高对异常手势的识别准确度，提升用户体验。
-
公开(公告)号：CN110362210B
公开(公告)日：2022-10-11
申请号：CN201910670994.0
申请日：2019-07-24
申请人： 济南大学
IPC分类号： G06F3/01 , G06V40/20 , G06V40/10 , G06V40/18 , G06V10/764
摘要： 本公开提供了一种虚拟装配中融合眼动跟踪和手势识别的人机交互方法和装置，根据获取到眼动数据，进行注视点跟踪；根据获取的手势信息，进行手势的识别，对得到的手势识别数据和眼动数据进行标注，构成训练集，构建多流卷积神经网络‑长短期记忆网络模型，所述网络模型利用训练集进行自我学习；将训练得到的最优网络模型应用在虚拟装配过程，获取虚拟装配过程的眼动数据和手势信息，提取眼动与手势特征，根据特征信息分析得出操作人员的行为类别进而完成装配任务。解决了单一模态下对相似行为的误判问题，并利用深度学习算法的优势，以较高的准确率识别视频中操作人员的行为，完成虚拟装配任务，实现人机交互。
-
公开(公告)号：CN112101235B
公开(公告)日：2022-09-23
申请号：CN202010977729.X
申请日：2020-09-16
申请人： 济南大学
IPC分类号： G06V40/20 , G06V20/40 , G06V10/764 , G06V10/80 , G06V10/82 , G01P15/18 , G06N3/04 , G06N3/08
摘要： 本发明公开一种基于老年人行为特征的老年人行为识别检测方法，包括：在老年人身体上佩戴加速度传感器，令老年人做指定动作；通过Kinect设备和所述加速度传感器进行数据采集，通过Kinect设备获取动作视频，所述加速度传感器获取身体加速度数据；从所述动作视频提取动作帧；以第一特征提取通道提取所述动作帧的空间特征和时间特征；以第二特征提取通道，提取所述身体加速度数据的数值特征和时间特征；将所述第一特征提取通道和第二特征提取通道的输出结果通过前馈神经网络融合获得目标结果。本发明利用老年人行为特征与年轻人行为特征在时间上的区别能识别老年人行为，而且通过对动作视频和身体加速度数据特征来进行行为识别，互为补充使得识别更加准确。
-
公开(公告)号：CN112101236A
公开(公告)日：2020-12-18
申请号：CN202010978616.1
申请日：2020-09-17
申请人： 济南大学
摘要： 本发明为了解决现有技术中存在的问题，创新提出了一种面向老年陪护机器人的智能纠错方法，在错误手势库的基础上，探究了基于机器人认知层手势识别错误的原因，利用皮尔逊算法计算出能够得到相同结果的不同输入手势间特征数组中差距最大的特征矩阵层号，并基于此利用博弈规则建立纠错算法，实现了基于认知层的纠错，提高了机器人对误识手势的识别率，本发明还提出了一种面向老年陪护机器人的智能纠错系统，有效解决机器人识别过程中由于老年人各项能力的弱化、手势表达不标准等问题造成的识别率不高的问题，有效的提高了机器人的手势识别的可靠性，提高了老年人陪护体验。
-
公开(公告)号：CN110348417A
公开(公告)日：2019-10-18
申请号：CN201910646658.2
申请日：2019-07-17
申请人： 济南大学
摘要： 本申请公开了一种深度手势识别算法的优化方法，涉及人机交互技术领域，所述方法包括：建立统一的数据集存放结构和统一的数据集文件；根据配置文件将数据集样本以载入到内存中；将载入的数据集样本交给完整统一的训练模块；优化神经网络结构；根据配置信息来配置训练过程中各种可调参数和训练模块的行为并开始训练；训练结束后依据配置文件进行模型的保存和实验中数据的保存；将训练过程产生的数据加载到画图模块进行训练过程相关曲线的绘制。建立统一的数据集存放结构和统一的数据集文件，能在不同的项目间迁移，对多种传统网络的网络参数设置与优化，将传统网络结合实际使用情况加以优化和改进，增加训练速度，优化训练结果，减小模型体积。
-
公开(公告)号：CN110288016A
公开(公告)日：2019-09-27
申请号：CN201910544626.1
申请日：2019-06-21
申请人： 济南大学
IPC分类号： G06K9/62
摘要： 本发明公开了一种多模态意图融合方法，通过传感器获取用户的声音信息和视觉信息；利用意图感知算法将获取的声音信息转化为若干语音意图，将视觉信息转化为操作意图；通过语音意图竞争确定用户真实语音意图；将操作意图作用于样本图像，并在屏幕上呈现操作结果；判断用户真实操作意图；构建系统反馈规则库，根据用户的真实操作意图和真实语音意图，查询并输出相应的系统反馈，指导用户操作。本发明还公开了一种虚拟显微镜，利用上述多模态意图融合方法，包括输入模块、控制模块和输出模块，使设备能够感知用户的真正意图，给出相应的反馈指导，有效的减少了用户误操作次数，方便用户更好的完成显微镜操作实验。
-
公开(公告)号：CN106341676B
公开(公告)日：2017-06-16
申请号：CN201610865067.0
申请日：2016-09-29
申请人： 济南大学
IPC分类号： H04N13/00 , H04N19/597
摘要： 本发明公开了基于超像素的深度图像预处理和深度空洞填充方法，包括以下步骤：步骤一：待处理的深度图像的超像素分割：对于该待处理的深度图像对应的彩色图像进行超像素分割，然后利用彩色图像的分割结果对该待处理的深度图像进行分割；步骤二：基于超像素的深度图像预处理；步骤三：虚拟视点深度图像超像素分割：利用待处理的深度图像对应的彩色图像和预处理后的深度图像进行三维变换，生成虚拟视点初始彩色图像和虚拟视点初始深度图像，对虚拟视点初始深度图像进行超像素分割；步骤四：虚拟视点深度图像填充。本发明采用基于超像素的深度图像预处理和基于超像素的深度空洞处理，空洞填充准确性较高，计算量较小，有利于视点合成的实时实现。
-
-
-
-
-
-
-
-
-
搜索结果
63 条记录 (耗时 0.037 秒)
