-
公开(公告)号：CN118897905B
公开(公告)日：2025-01-21
申请号：CN202411388560.9
申请日：2024-10-08
Applicant: 山东大学 , 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 浙江大华技术股份有限公司 , 山东省计算中心(国家超级计算济南中心) , 哈尔滨工业大学(威海)
IPC: G06F16/735 , G06F16/783 , G06F16/738 , G06N3/0455 , G06N3/08
Abstract: 本发明属于视频检索技术领域，提供了一种基于细粒度时空关联建模的视频片段定位方法及系统，其技术方案为：获取视频片段，利用时空查询表示，隐式挖掘视频片段中潜在所有物体信息；随后，基于时空表示多维交互模块，充分建模物体间时空关联关系；之后，通过有机融合局部和全局表示，全面提升视频片段的表示能力；最后，依据视频片段表示与用户查询表示相似性分数确定目标视频片段。本发明克服了现有技术中依赖离线物体检测工具进行物体时空信息提取、物体细粒度交互信息建模不充分等导致视频理解不佳的问题。
-
公开(公告)号：CN118918521B
公开(公告)日：2024-12-17
申请号：CN202411413830.7
申请日：2024-10-11
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 山东大学 , 浙江大华技术股份有限公司 , 哈尔滨工业大学(威海)
Abstract: 本发明属于目标视频片段定位领域，提供了一种基于多机协同的目标视频片段定位方法及系统，方法包括获取时间同步的多视角的单帧图像；进行各图像的特征匹配，依据特征匹配关系建立不同视角图像之间的对应关系；基于建立的对应关系，进行多视角图像的融合，得到完备的全景视频特征；响应于查询文本，基于全景视频特征，进行目标视频片段定位。本发明通过特征匹配建立不同视角之间的对应关系，利用视角融合剔除重复冗余信息，生成完整的全景视图，实现不同视角的互补，基于视角融合后的视频实现目标视频片段的高效定位；克服了现有技术中多视角视频匹配难、融合差的缺陷。
-
公开(公告)号：CN118916518B
公开(公告)日：2024-12-17
申请号：CN202411411688.2
申请日：2024-10-11
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 山东大学 , 浙江大华技术股份有限公司 , 山东省计算中心(国家超级计算济南中心) , 哈尔滨工业大学(威海)
IPC: G06F16/738 , G06F16/735 , G06N5/022 , G06F16/783
Abstract: 本发明属于数据处理技术领域。提供了一种基于知识增强的视频片段摘要生成方法及系统，抽取视频片段的多个视频帧的信息，得到向量表征集合、物体名称集合、视觉表征集合以及文本表征集合，进一步的得到以物体间常识关系为边的第一常识图、以物体间场景关系为边的第二常识图、以物体间时空关系为边的第三常识图；将第一常识图、第二常识图和第三常识图整合后采用图注意力网络，得到所有物体的表征，将所有物体的表征与向量表征集合拼接成为视频表征，以所述视频表征与提示词文本作为大语言模型的输入，得到视频片段的摘要文本描述；本发明通过融合常识知识、场景知识和时空知识，提升了视频摘要生成的准确性和全面性。
-
公开(公告)号：CN118897904B
公开(公告)日：2025-04-18
申请号：CN202411388060.5
申请日：2024-10-08
Applicant: 山东大学 , 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 浙江大华技术股份有限公司 , 哈尔滨工业大学(威海)
IPC: G06F16/732 , G06F16/75 , G06F40/30
Abstract: 本发明属于自然语言处理领域，提供了一种查询语句语义树生成编码方法及系统，获取给定的查询语句，根据查询语句的完备性，对其进行分类；对于其中的不完备的查询语句，利用过程补全大语言模型进行基于思维链引导的查询过程的补全；基于完备的查询语句或补全后的查询语句，通过成分分析树提取相邻词语之间的深入语义关联，通过依存语法树提取非相邻词语的长距离关联，融合依存语法树和成分分析树，形成最终的语义树。本发明对查询语句进行完备性分类，随后利用大型语言模型自动推断和完善查询语句，从而生成能够准确反映动作中间过程的语义树，实现关键语义内容的补充，可以支持在开放场景视频中进行精准的动作检索和定位。
-
公开(公告)号：CN118897905A
公开(公告)日：2024-11-05
申请号：CN202411388560.9
申请日：2024-10-08
Applicant: 山东大学 , 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 浙江大华技术股份有限公司 , 山东省计算中心(国家超级计算济南中心) , 哈尔滨工业大学(威海)
IPC: G06F16/735 , G06F16/783 , G06F16/738 , G06N3/0455 , G06N3/08
Abstract: 本发明属于视频检索技术领域，提供了一种基于细粒度时空关联建模的视频片段定位方法及系统，其技术方案为：获取视频片段，利用时空查询表示，隐式挖掘视频片段中潜在所有物体信息；随后，基于时空表示多维交互模块，充分建模物体间时空关联关系；之后，通过有机融合局部和全局表示，全面提升视频片段的表示能力；最后，依据视频片段表示与用户查询表示相似性分数确定目标视频片段。本发明克服了现有技术中依赖离线物体检测工具进行物体时空信息提取、物体细粒度交互信息建模不充分等导致视频理解不佳的问题。
-
Patent Agency Ranking
公开(公告)号：CN118918521A
公开(公告)日：2024-11-08
申请号：CN202411413830.7
申请日：2024-10-11
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 山东大学 , 浙江大华技术股份有限公司 , 哈尔滨工业大学(威海)
Abstract: 本发明属于目标视频片段定位领域，提供了一种基于多机协同的目标视频片段定位方法及系统，方法包括获取时间同步的多视角的单帧图像；进行各图像的特征匹配，依据特征匹配关系建立不同视角图像之间的对应关系；基于建立的对应关系，进行多视角图像的融合，得到完备的全景视频特征；响应于查询文本，基于全景视频特征，进行目标视频片段定位。本发明通过特征匹配建立不同视角之间的对应关系，利用视角融合剔除重复冗余信息，生成完整的全景视图，实现不同视角的互补，基于视角融合后的视频实现目标视频片段的高效定位；克服了现有技术中多视角视频匹配难、融合差的缺陷。
-
公开(公告)号：CN118916518A
公开(公告)日：2024-11-08
申请号：CN202411411688.2
申请日：2024-10-11
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 山东大学 , 浙江大华技术股份有限公司 , 山东省计算中心(国家超级计算济南中心) , 哈尔滨工业大学(威海)
IPC: G06F16/738 , G06F16/735 , G06N5/022 , G06F16/783
Abstract: 本发明属于数据处理技术领域。提供了一种基于知识增强的视频片段摘要生成方法及系统，抽取视频片段的多个视频帧的信息，得到向量表征集合、物体名称集合、视觉表征集合以及文本表征集合，进一步的得到以物体间常识关系为边的第一常识图、以物体间场景关系为边的第二常识图、以物体间时空关系为边的第三常识图；将第一常识图、第二常识图和第三常识图整合后采用图注意力网络，得到所有物体的表征，将所有物体的表征与向量表征集合拼接成为视频表征，以所述视频表征与提示词文本作为大语言模型的输入，得到视频片段的摘要文本描述；本发明通过融合常识知识、场景知识和时空知识，提升了视频摘要生成的准确性和全面性。
-
公开(公告)号：CN118897904A
公开(公告)日：2024-11-05
申请号：CN202411388060.5
申请日：2024-10-08
Applicant: 山东大学 , 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 浙江大华技术股份有限公司 , 哈尔滨工业大学(威海)
IPC: G06F16/732 , G06F16/75 , G06F40/30
Abstract: 本发明属于自然语言处理领域，提供了一种查询语句语义树生成编码方法及系统，获取给定的查询语句，根据查询语句的完备性，对其进行分类；对于其中的不完备的查询语句，利用过程补全大语言模型进行基于思维链引导的查询过程的补全；基于完备的查询语句或补全后的查询语句，通过成分分析树提取相邻词语之间的深入语义关联，通过依存语法树提取非相邻词语的长距离关联，融合依存语法树和成分分析树，形成最终的语义树。本发明对查询语句进行完备性分类，随后利用大型语言模型自动推断和完善查询语句，从而生成能够准确反映动作中间过程的语义树，实现关键语义内容的补充，可以支持在开放场景视频中进行精准的动作检索和定位。
-
公开(公告)号：CN119399342A
公开(公告)日：2025-02-07
申请号：CN202510005486.6
申请日：2025-01-03
Applicant: 哈尔滨工业大学(威海)
Abstract: 本公开的实施例提供了一种基于全局‑局部表面协同感知的物体高斯逆渲染方法；涉及图形逆渲染领域。方法包括进行光线投射与采样，获取采样点；利用几何网络和颜色网络计算采样点的神经辐射距离值和颜色值，获取全局几何表征；根据神经辐射距离值，初始化高斯点云位置；从初始化高斯点云中选取局部控制点，以局部控制点为中心，确定局部采样点并构建局部距离函数；根据局部采样点，利用局部距离函数和神经辐射距离函数，计算局部采样点的局部距离值和全局神经辐射距离值；根据全局几何表征，以这两个距离值为约束，重建几何细节；为高斯点云添加属性值进行材质与光照建模，获取材质属性与光照条件。以此缓解物体表面粗糙、提高细节捕捉能力。
-
公开(公告)号：CN117994708B
公开(公告)日：2024-05-31
申请号：CN202410397545.4
申请日：2024-04-03
Applicant: 哈尔滨工业大学(威海)
IPC: G06V20/40 , G06N3/0455 , G06N3/0464 , G06N3/09 , G06V10/82 , G06V40/20
Abstract: 本发明公开了基于时序一致隐空间引导扩散模型的人体视频生成方法，包括以下步骤：从人物动作视频中提取骨骼序列并形成骨骼序列的视频；对输入视频、人物形象以及骨骼序列提取特征；输入特征至扩散模型中进行前向加噪及噪声预测；以加入的噪声作为监督定义约束并对扩散模型进行训练；将目标姿态序列和人物图片输入至训练好的扩散模型中；将时空坐标通过隐式网络映射为像素值；以目标视频以及目标姿态序列作为监督约束，学习模型参数；对隐式网络的输出视频进行特征提取，再次输入训练完成的扩散模型，得到人物动作视频。本发明设计迭代优化的策略，通过时序一致的隐空间引导提升扩散模型的生成结果连续性，以提高姿态引导的人体视频生成质量。
-
-
-
-
-
-
-
-
-
Search Results
56
records
(took 0.017 seconds)
