-
公开(公告)号：CN118898797A
公开(公告)日：2024-11-05
申请号：CN202411404288.9
申请日：2024-10-10
Applicant: 山东大学 , 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 浙江大华技术股份有限公司 , 山东省计算中心(国家超级计算济南中心)
IPC: G06V20/40 , G06V10/774 , G06V10/24 , G06V10/80
Abstract: 本发明属于视频行为片段检索技术领域。提供了一种基于常识增强的视频行为片段候选集生成方法及系统，获取查询语句和待检索视频的语义特征表示；通过跨模态交互模块对视觉特征语义表示和文本特征语义表示进行交互，融合多模态信息；预测每个视频单元被保留的概率，并依据概率保留高信息有效性的视频单元；通过视觉适配层将保留的视频帧的特征映射到图文预训练大模型的输入空间；通过插入适配层对图文预训练大模型进行微调，并构造指令指示模型完成视频行为片段候选集生成任务。本发明引入图文预训练大模型以利用其中丰富的外部知识提高对视觉内容的理解，同时兼顾了视频行为片段候选集的生成速度和精度。
-
Patent Agency Ranking
公开(公告)号：CN119478794A
公开(公告)日：2025-02-18
申请号：CN202510051849.X
申请日：2025-01-14
Applicant: 天津理工大学 , 山东省人工智能研究院 , 山东省计算中心(国家超级计算济南中心) , 山东大学 , 浙江大华技术股份有限公司 , 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 合肥工业大学
IPC: G06V20/40 , G06V10/80 , G06T17/00 , G06F18/213 , G06F18/25 , G06F16/783
Abstract: 本发明涉及计算机视觉和自然语言处理技术领域，尤其涉及一种基于渐进式交互和多模态对齐的视频片段句子定位算法。步骤如下：首先将与视频相关的所有查询句子根据该查询句子对应的视频片段在视频中的顺序进行排序后与视频特征和在特征维度进行拼接，再将其经过多模态对齐模块提取视频与查询句子特征各自的模态内信息以及两个模态之间的信息，随后根据与查询句子交互后的视频特征生成多个候选片段，通过分组候选片段交互模块学习候选片段之间的关系，然后通过度量学习缩小对应的候选片段特征与查询句子特征对的差异，最后将所有候选片段特征与单个查询句子特征计算匹配分数，分数高的作为预测结果。本发明可以精准地对视频片段进行定位。
-
公开(公告)号：CN118918516A
公开(公告)日：2024-11-08
申请号：CN202411396801.4
申请日：2024-10-09
Applicant: 山东大学 , 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 浙江大华技术股份有限公司 , 山东师范大学
Abstract: 本发明属于目标视频片段定位技术领域，提供了一种基于语义对齐的目标视频片段定位方法、系统及产品，其技术方案为基于不同层次上的视频和文本两种模态的语义特征，通过计算对齐分布概率获得全局对齐损失函数和局部语义对齐损失函数；根据全局对齐损失函数和局部语义对齐损失函数，对齐视频和文本两种模态的语义特征；推测缺失的模态语义特征，并补全缺失的模态语义特征对应的真实语义特征，得到视频和文本两种模态完整的语义特征；根据视频和文本两种模态完整的语义特征替换输入的视觉与文本特征，对目标视频片段定位。本发明能进行有效的跨模态语义对齐建模，从而克服了多模态信息缺失与语义信息模糊的问题，实现目标视频片段的准确检索。
-
公开(公告)号：CN118897905A
公开(公告)日：2024-11-05
申请号：CN202411388560.9
申请日：2024-10-08
Applicant: 山东大学 , 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 浙江大华技术股份有限公司 , 山东省计算中心(国家超级计算济南中心) , 哈尔滨工业大学(威海)
IPC: G06F16/735 , G06F16/783 , G06F16/738 , G06N3/0455 , G06N3/08
Abstract: 本发明属于视频检索技术领域，提供了一种基于细粒度时空关联建模的视频片段定位方法及系统，其技术方案为：获取视频片段，利用时空查询表示，隐式挖掘视频片段中潜在所有物体信息；随后，基于时空表示多维交互模块，充分建模物体间时空关联关系；之后，通过有机融合局部和全局表示，全面提升视频片段的表示能力；最后，依据视频片段表示与用户查询表示相似性分数确定目标视频片段。本发明克服了现有技术中依赖离线物体检测工具进行物体时空信息提取、物体细粒度交互信息建模不充分等导致视频理解不佳的问题。
-
公开(公告)号：CN115688858B
公开(公告)日：2024-02-09
申请号：CN202211285500.5
申请日：2022-10-20
Applicant: 哈尔滨工业大学(深圳)
IPC: G06N3/04 , G06N3/08 , G06F18/214
Abstract: 本发明公开了一种细粒度专家行为模仿学习方法、装置、介质及终端，方法包括，获取智能体的当前环境状态信息，将当前环境状态信息输入到预设预测网络模型中，以得到预测信息，根据预测信息控制智能体执行相应动作，采集任务完成情况信息和当前动作的状态信息；根据动作的状态信息计算单次奖励值，根据任务完成情况信息计算任务奖励值；根据单次奖励值及任务奖励值训练预设预测网络模型，将任务奖励值和每局若干单次奖励值相加，得到总奖励值，当总奖励值大于阈值时，完成对预设预测网络模型的训练并将输出的策略返回，上述方法降低了训练难度、提高了训练效率，无需采集大量专家数据即可在高维状态、动作空间中学习到接近专家行为模式的策略。
-
公开(公告)号：CN115688858A
公开(公告)日：2023-02-03
申请号：CN202211285500.5
申请日：2022-10-20
Applicant: 哈尔滨工业大学(深圳)
IPC: G06N3/04 , G06N3/08 , G06F18/214
Abstract: 本发明公开了一种细粒度专家行为模仿学习方法、装置、介质及终端，方法包括，获取智能体的当前环境状态信息，将当前环境状态信息输入到预设预测网络模型中，以得到预测信息，根据预测信息控制智能体执行相应动作，采集任务完成情况信息和当前动作的状态信息；根据动作的状态信息计算单次奖励值，根据任务完成情况信息计算任务奖励值；根据单次奖励值及任务奖励值训练预设预测网络模型，将任务奖励值和每局若干单次奖励值相加，得到总奖励值，当总奖励值大于阈值时，完成对预设预测网络模型的训练并将输出的策略返回，上述方法降低了训练难度、提高了训练效率，无需采集大量专家数据即可在高维状态、动作空间中学习到接近专家行为模式的策略。
-
-
-
-
-
Search Results
26
records
(took 0.067 seconds)
