-
公开(公告)号：CN119516852A
公开(公告)日：2025-02-25
申请号：CN202411636115.X
申请日：2024-11-15
Applicant: 济南大学
Abstract: 本发明公开了基于多模态感知进行实时反馈的虚实融合化学实验平台，包括，视频捕获模块，对学生实验过程进行视频采集，捕捉学生使用实验器材的操作过程；目标检测模块，实时检测化学实验过程中涉及到的各种实验器材和化学试剂；HOI检测模块，实验过程中，识别学生与实验器材之间的交互行为，判断其是否与预设实验步骤中的关键点对齐；反馈模块，依据目标检测与HOI检测的检测结果，判断学生实验过程操作的正确性，面对错误的操作可实时进行反馈提示；通过视频捕获模块在学生独立进行化学实验操作时能够将其实验过程进行视频采集，依据设定的实验步骤中的关键节点经由目标检测模块和HOI检测模块的结果与这些节点进行对比，判断学生的操作是否正确。
-
公开(公告)号：CN115546503A
公开(公告)日：2022-12-30
申请号：CN202211285533.X
申请日：2022-10-20
Applicant: 济南大学
IPC: G06V10/42 , G06V10/26 , G06V10/764 , G06V10/82 , G06V10/774 , G06N3/04 , G06N3/08
Abstract: 本发明公开了基于深度注意力的自适应多尺度视觉特征表达方法及系统，包括：获取原始神经网络模型作为SDA网络模块的主干分支，用于分层特征的提取；设计SDA网络模块的轻量化深度注意力分支，用于动态加权分层特征；堆叠多个SDA网络模块构成神经网络，即为基于深度注意力的自适应多尺度视觉特征表达的神经网络方法；对自适应多尺度特征表达神经网络SDA‑Net进行参数优化，所得到的神经网络模型可用于图像分类、目标检测和语义分割等视觉任务的主干。
-
公开(公告)号：CN112099632A
公开(公告)日：2020-12-18
申请号：CN202010974163.5
申请日：2020-09-16
Applicant: 济南大学
Abstract: 本发明提供了一种面向助老陪护的人‑机器人协同交互方法，本发明通过识别获得所需手势信息、认知目标和语音信息，并通过过滤处理，输出各模态的有效信息，通过基于意图理解的多模态融合算法在意图库的支持下输出意图槽，实现用户意图的准确捕获，并对意图槽和必要的识别结果一起作为输入信息，通过基于认知模型的协同任务决策算法进行处理，在知识库和规则库的支持下，输出子任务执行的决策结果，实现人‑机器人协同工作。本发明可在降低老人交互负担的前提下，提高老年人和机器人之间的任务完成的绩效，使得老年人对机器人的陪护给予较高的满意度评价。
-
公开(公告)号：CN112099630A
公开(公告)日：2020-12-18
申请号：CN202010958262.4
申请日：2020-09-11
Applicant: 济南大学
Abstract: 本发明公开一种多模态意图逆向主动融合的人机交互方法，包括：获取环境数据、用户的手势数据以及用户的语音数据；对所述环境数据进行场景感知获取环境信息，对所述手势数据进行手势信息提取获取手势意图，对所述语音数据进行语音信息提取获取语音意图；进行对环境信息、手势意图以及语音意图进行多模态意图提取获取融合意图；对所述融合意图进行信任度评价获取目标融合意图；按所述目标融合意图进行交互反馈。本发明融合意图结合环境时刻、手势数据、语音数据多模态提取而获得，使得意图识别更加准确；能够避免老年人因健忘而重复某一意图；通过主动问询的方式确认发生概率较低的融合意图是否用户本意，获取反映用户本意的目标融合意图。
-
公开(公告)号：CN118227821B
公开(公告)日：2024-07-26
申请号：CN202410650741.8
申请日：2024-05-24
Applicant: 济南大学
IPC: G06F16/58 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/08 , G06V10/764
Abstract: 本申请公开了一种基于抗噪声网络的草图检索三维模型的方法，涉及三维模型检索技术领域，在空背景模型内设置虚拟相机获得三维模型的视图表示；选取草图域特征提取网络和模型域特征提取网络，并通过所述视图表示进行预训练。在训练草图域特征提取网络时对置信度较高的嘈杂样本通过加入噪声感知熵正则化对网络进行惩罚，减少网络对噪声样本的学习。在模型域特征提取网络训练时，模型域视图融合时通过学习不同视图的权重对模型域特征有了更好的表示，并且在构建跨域联合网络时采用有监督对比学习的方法更好对齐了同类的草图和模型样本，进而使得草图检索三维模型任务的准确率上得到了提高，并且加强了模型的鲁棒性。
-
Patent Agency Ranking
公开(公告)号：CN112099632B
公开(公告)日：2024-04-05
申请号：CN202010974163.5
申请日：2020-09-16
Applicant: 济南大学
Abstract: 本发明提供了一种面向助老陪护的人‑机器人协同交互方法，本发明通过识别获得所需手势信息、认知目标和语音信息，并通过过滤处理，输出各模态的有效信息，通过基于意图理解的多模态融合算法在意图库的支持下输出意图槽，实现用户意图的准确捕获，并对意图槽和必要的识别结果一起作为输入信息，通过基于认知模型的协同任务决策算法进行处理，在知识库和规则库的支持下，输出子任务执行的决策结果，实现人‑机器人协同工作。本发明可在降低老人交互负担的前提下，提高老年人和机器人之间的任务完成的绩效，使得老年人对机器人的陪护给予较高的满意度评价。
-
公开(公告)号：CN112101235B
公开(公告)日：2022-09-23
申请号：CN202010977729.X
申请日：2020-09-16
Applicant: 济南大学
Abstract: 本发明公开一种基于老年人行为特征的老年人行为识别检测方法，包括：在老年人身体上佩戴加速度传感器，令老年人做指定动作；通过Kinect设备和所述加速度传感器进行数据采集，通过Kinect设备获取动作视频，所述加速度传感器获取身体加速度数据；从所述动作视频提取动作帧；以第一特征提取通道提取所述动作帧的空间特征和时间特征；以第二特征提取通道，提取所述身体加速度数据的数值特征和时间特征；将所述第一特征提取通道和第二特征提取通道的输出结果通过前馈神经网络融合获得目标结果。本发明利用老年人行为特征与年轻人行为特征在时间上的区别能识别老年人行为，而且通过对动作视频和身体加速度数据特征来进行行为识别，互为补充使得识别更加准确。
-
公开(公告)号：CN114092967A
公开(公告)日：2022-02-25
申请号：CN202111374811.4
申请日：2021-11-19
Applicant: 济南大学
Abstract: 本发明提出了一种实时多模态陪护机器人意图理解方法和系统，该方法包括：识别用户局部信息和目标物体；测算所有目标物体到用户的距离之和，计算目标物体与用户发生意图交互的概率；获取各意图特征间的相互依赖信息；相互依赖信息包括用户的动作信息、手势信息和预先知识库中保存的目标物体信息，并将相互依赖信息输入半朴素贝叶斯分类器得出各意图的概率结果并进行概率归一化得出目标物相关的各意图概率；将用户发生意图交互的概率与目标物相关的各意图概率进行概率融合得到各意图的最终概率。基于该方法，还提出了一种实时多模态陪护机器人意图理解系统，本发明具有较好的鲁棒性，极大提高了机器人对于用户意图的理解的效率和准确率。
-
公开(公告)号：CN112101236A
公开(公告)日：2020-12-18
申请号：CN202010978616.1
申请日：2020-09-17
Applicant: 济南大学
Abstract: 本发明为了解决现有技术中存在的问题，创新提出了一种面向老年陪护机器人的智能纠错方法，在错误手势库的基础上，探究了基于机器人认知层手势识别错误的原因，利用皮尔逊算法计算出能够得到相同结果的不同输入手势间特征数组中差距最大的特征矩阵层号，并基于此利用博弈规则建立纠错算法，实现了基于认知层的纠错，提高了机器人对误识手势的识别率，本发明还提出了一种面向老年陪护机器人的智能纠错系统，有效解决机器人识别过程中由于老年人各项能力的弱化、手势表达不标准等问题造成的识别率不高的问题，有效的提高了机器人的手势识别的可靠性，提高了老年人陪护体验。
-
公开(公告)号：CN110286763A
公开(公告)日：2019-09-27
申请号：CN201910543141.0
申请日：2019-06-21
Applicant: 济南大学
Abstract: 本发明提出了一种具有认知功能的导航式实验交互装置，包括信息输入感知模块、信息融合模块以及操作应用模块；其中信息输入感知模块获取视觉感知；获取容器信息以及完成触觉感知和通过语音的输入完成听觉感知。信息融合模块根据信息输入感知模块获取的视觉感觉、触觉感觉和听觉感知，确定多模态意图。操作应用模块基于多模态意图理解应用于实验。本发明通过对三个通道不同状态对交互的感知表达，以多模态信息相交集合与意图特征集合进行匹配，构成多模态意图理解模型，完成多模态融合，通过文字或语音对关键操作进行提示或指引，根据用户意图与操作规范判断错误操作，并对错误操作行为进行提示或对其后果进行可视化呈现。
-
-
-
-
-
-
-
-
-
Search Results
30
records
(took 0.023 seconds)
