-
公开(公告)号:CN117152618A
公开(公告)日:2023-12-01
申请号:CN202311336137.X
申请日:2023-10-16
Applicant: 北京邮电大学
IPC: G06V20/10 , G06V10/82 , G06N3/0442 , G06N3/0464 , G06N3/048
Abstract: 本申请提供一种遥感图像中时敏目标变化检测方法及装置,所述方法包括:构建各个经时敏目标检测后的遥感图像各自对应的时空关系图;所述时空关系图包括:所述遥感图像中各个所述时敏目标和各个所述时敏目标之间的关系;基于图卷积层和图池化层对各个所述时空关系图进行空间信息提取,得到各个所述时空关系图各自对应的空间关系嵌入序列;基于长短期记忆网络将各个所述空间关系嵌入序列转换为时空嵌入向量;基于多层感知机层和激活函数对所述时空嵌入向量进行图像检测,得到时敏目标变化检测结果。本申请能够有效提高遥感图像变化检测的准确率,有效增强检测结果的稳定性以及有效提取时敏目标的语义信息。
-
公开(公告)号:CN106598240B
公开(公告)日:2020-02-18
申请号:CN201611108802.X
申请日:2016-12-06
Applicant: 北京邮电大学
Inventor: 吕菲
IPC: G06F3/01 , G06F3/0346 , G06F3/0481 , G06F3/0482
Abstract: 本发明实施例提供了一种菜单项选择方法及装置,应用于人机交互设备,所述方法包括:捕获目标部位的第一目标区域;确定所述第一目标区域的目标角度,其中,所述目标角度为所述第一目标区域与第一预设坐标轴的夹角;根据预先存储的所述第一目标区域的目标角度与各菜单项的对应关系,在菜单区域中确定与所述第一目标区域的目标角度对应的目标菜单项。应用本发明实施例,能够在人机交互的过程中根据目标部位的目标角度选择需要的菜单项,从而提高了菜单项选择的简便性和效率。
-
公开(公告)号:CN119917624A
公开(公告)日:2025-05-02
申请号:CN202411983881.3
申请日:2023-08-24
Applicant: 北京邮电大学
IPC: G06F16/3329 , G06F16/45 , G06F16/483 , G06F40/35 , G06N5/025 , G06N3/042 , G06N3/0464 , G06N3/0455 , G06N3/0442 , G06N3/092 , G06N5/04 , G06N3/048
Abstract: 本发明公开了一种基于知识推理技术的用户心智感知问答模型的架构方法,涉及多模态智能问答技术领域。具体内容为:S1.构建信息融合模块:融合场景图、问题文本的多模态信息,生成融合嵌入表示,得到多模态信息融合;S2.构建基于强化学习的策略网络:采用强化学习范式构建策略网络,建模在场景图中寻找推理路径的过程;S3.构建基于问题相似度的用户反馈模块:基于词向量余弦相似度判断问题语义重复度,转换为用户反馈信号返回给策略网络指导路径推理。本发明可以在强化学习的范式下利用知识推理技术提高问答模型的可解释性,并考虑到用户的反馈,实现对用户心智的感知,从而对用户提供个性化的服务。
-
公开(公告)号:CN117033602B
公开(公告)日:2024-11-26
申请号:CN202311071584.7
申请日:2023-08-24
Applicant: 北京邮电大学
IPC: G06F16/332 , G06F16/33 , G06F16/335 , G06F16/2458 , G06F40/35 , G06N5/022 , G06N3/048 , G06N3/0464 , G06N3/047 , G06N3/0455
Abstract: 本发明公开了一种多模态的用户心智感知问答模型的构建方法,涉及多模态智能问答技术领域。包括构建信息融合模块、构建基于强化学习的策略网络、构建基于问题相似度的用户反馈模块。本发明在模型中引入场景图形式的视觉信息,能够有效融合多轮对话历史信息及图像场景图信息,使得模型能够获取到图像语义级别的信息,场景图的结构化数据形式也增强了模型推理的可解释性;并且提出的基于问题相似度的用户反馈获取方法为模型引入了用户反馈信号,相较于传统问答模型能够更智能地推测出用户对于答案的反馈,利用该反馈可以引导模型后续的策略网络训练,使模型的推理向更靠近用户心智的方向进行,为用户提供更好的人机服务体验。
-
公开(公告)号:CN117033602A
公开(公告)日:2023-11-10
申请号:CN202311071584.7
申请日:2023-08-24
Applicant: 北京邮电大学
IPC: G06F16/332 , G06F16/33 , G06F16/335 , G06F16/2458 , G06F40/35 , G06N5/022 , G06N3/048 , G06N3/0464 , G06N3/047 , G06N3/0455
Abstract: 本发明公开了一种多模态的用户心智感知问答模型的构建方法,涉及多模态智能问答技术领域。包括构建信息融合模块、构建基于强化学习的策略网络、构建基于问题相似度的用户反馈模块。本发明在模型中引入场景图形式的视觉信息,能够有效融合多轮对话历史信息及图像场景图信息,使得模型能够获取到图像语义级别的信息,场景图的结构化数据形式也增强了模型推理的可解释性;并且提出的基于问题相似度的用户反馈获取方法为模型引入了用户反馈信号,相较于传统问答模型能够更智能地推测出用户对于答案的反馈,利用该反馈可以引导模型后续的策略网络训练,使模型的推理向更靠近用户心智的方向进行,为用户提供更好的人机服务体验。
-
公开(公告)号:CN117152618B
公开(公告)日:2024-08-30
申请号:CN202311336137.X
申请日:2023-10-16
Applicant: 北京邮电大学
IPC: G06V20/10 , G06V10/82 , G06N3/0442 , G06N3/0464 , G06N3/048
Abstract: 本申请提供一种遥感图像中时敏目标变化检测方法及装置,所述方法包括:构建各个经时敏目标检测后的遥感图像各自对应的时空关系图;所述时空关系图包括:所述遥感图像中各个所述时敏目标和各个所述时敏目标之间的关系;基于图卷积层和图池化层对各个所述时空关系图进行空间信息提取,得到各个所述时空关系图各自对应的空间关系嵌入序列;基于长短期记忆网络将各个所述空间关系嵌入序列转换为时空嵌入向量;基于多层感知机层和激活函数对所述时空嵌入向量进行图像检测,得到时敏目标变化检测结果。本申请能够有效提高遥感图像变化检测的准确率,有效增强检测结果的稳定性以及有效提取时敏目标的语义信息。
-
公开(公告)号:CN106598240A
公开(公告)日:2017-04-26
申请号:CN201611108802.X
申请日:2016-12-06
Applicant: 北京邮电大学
Inventor: 吕菲
IPC: G06F3/01 , G06F3/0346 , G06F3/0481 , G06F3/0482
Abstract: 本发明实施例提供了一种菜单项选择方法及装置,应用于人机交互设备,所述方法包括:捕获目标部位的第一目标区域;确定所述第一目标区域的目标角度,其中,所述目标角度为所述第一目标区域与第一预设坐标轴的夹角;根据预先存储的所述第一目标区域的目标角度与各菜单项的对应关系,在菜单区域中确定与所述第一目标区域的目标角度对应的目标菜单项。应用本发明实施例,能够在人机交互的过程中根据目标部位的目标角度选择需要的菜单项,从而提高了菜单项选择的简便性和效率。
-
公开(公告)号:CN117908664A
公开(公告)日:2024-04-19
申请号:CN202311751933.X
申请日:2023-12-19
Applicant: 北京邮电大学
Abstract: 本发明提供一种虚拟现实场景的对象选择方法、装置和存储介质,所述方法包括:实时获取并识别手势和眼动数据,在识别出第一指示手势的情况下,进入第一模式;在所述第一模式下,基于实时获取的眼动数据识别眼部关注的虚拟现实场景中第一指示范围内的物体,并将第一指示范围内的物体确认为候选组;建立实时获取并识别的手势数据与所述候选组中物体的平面位置和/或深度位置,或者与所述候选组中物体的展示视角的映射关系,并基于建立的映射关系至少通过手部手势来选择候选组中的物体;在识别到确认动作的情况下,确认当前选择的物体为最终选择的目标对象。本发明能够极大地提升在密集或遮挡下的物体选择效率。
-
公开(公告)号:CN106601217B
公开(公告)日:2021-03-02
申请号:CN201611108803.4
申请日:2016-12-06
Applicant: 北京邮电大学
Inventor: 吕菲
Abstract: 本发明实施例提供了一种交互式乐器演奏方法及装置,方法包括:获得预设时长内目标用户的预设数量个第一数据;根据各第一数据,确定目标用户的动作类别,其中,动作类别包括静态姿势或动态动作;当目标用户的动作类别为静态姿势时,根据每个第一数据确定目标用户的目标姿势,并根据目标姿势以及预设的乐器种类模板库,确定目标姿势对应的目标乐器种类;根据目标乐器种类以及预设图案库,显示与目标乐器种类对应的图案;当目标用户的动作类别为动态动作时,根据每个第一数据确定目标用户的目标动作,并根据目标动作、当前显示图案以及预设音频库,输出与当前显示图案对应的音频。应用本发明实施例,实现了交互式乐器演奏。
-
公开(公告)号:CN106601217A
公开(公告)日:2017-04-26
申请号:CN201611108803.4
申请日:2016-12-06
Applicant: 北京邮电大学
Inventor: 吕菲
CPC classification number: G10H1/0008 , G06F3/017
Abstract: 本发明实施例提供了一种交互式乐器演奏方法及装置,方法包括:获得预设时长内目标用户的预设数量个第一数据;根据各第一数据,确定目标用户的动作类别,其中,动作类别包括静态姿势或动态动作;当目标用户的动作类别为静态姿势时,根据每个第一数据确定目标用户的目标姿势,并根据目标姿势以及预设的乐器种类模板库,确定目标姿势对应的目标乐器种类;根据目标乐器种类以及预设图案库,显示与目标乐器种类对应的图案;当目标用户的动作类别为动态动作时,根据每个第一数据确定目标用户的目标动作,并根据目标动作、当前显示图案以及预设音频库,输出与当前显示图案对应的音频。应用本发明实施例,实现了交互式乐器演奏。
-
-
-
-
-
-
-
-
-