基于多维度视频信息交互的视频时刻检索方法

    公开(公告)号:CN118349702A

    公开(公告)日:2024-07-16

    申请号:CN202410529125.7

    申请日:2024-04-29

    Abstract: 本发明公开了一种基于多维度视频信息交互的视频时刻检索方法,主要解决现有技术难以提取视频中多样性定位内容导致跨模态对齐困难和检索不精确的问题。其实现方案为:使用公开的视频时刻检索数据集构建训练集;构建包括文本特征提取模块、视频特征提取模块、多维度二维时序特征图生成模块、场景分割候选时刻表示增强模块、跨模态交互和时刻检索模块的视频时刻检索网络;利用训练集通过梯度下降法对视频时刻检索网络进行训练;利用训练好的网络前向计算完成文本相对应的视频时刻的检索。本发明通过多维度视频信息交互,构建多维度二维时序特征图并增强特征表示,促进了跨模态语义匹配,提高了模型的检索性能,可用于智慧教育和安全监控。

    提高任务执行效率与边缘节点资源利用率的任务卸载方法

    公开(公告)号:CN117608700A

    公开(公告)日:2024-02-27

    申请号:CN202311642371.5

    申请日:2023-12-01

    Abstract: 本发明公开了一种提高任务执行效率与边缘节点资源利用率的任务卸载方法,涉及移动通信技术领域,包括:构建边缘协作环境下的任务卸载模型,获取任务总执行时间;以最小化任务总执行时间为目标,根据改进的教学优化算法,联合优化资源分配决策、用户与边缘服务器关联决策、任务卸载比例、以及执行位置决策,获取最小的任务总执行时间。本发明联合优化任务卸载位置决策、任务卸载比例、计算资源分配以及用户与服务器关联策略,综合优化考虑了多个关键决策变量,有效地降低了任务卸载问题的复杂性,提高了调度效率。

    基于分层度量学习的跨模态信息检索方法

    公开(公告)号:CN113590867B

    公开(公告)日:2024-02-09

    申请号:CN202110893943.1

    申请日:2021-08-05

    Abstract: 本发明公开了一种基于分层度量学习的跨模态信息检索方法,其实现步骤为:(1)建立训练集;(2)构建分层度量学习网络;(3)训练分层度量学习网络;(4)利用图像检索文本;(5)利用文本检索图像。本发明构建了与标签层数相等的多个分层度量学习子网络组成分层度量学习网络,采用了特征嵌入模块对图像样本和文本样本进行实值特征表示学习,使得最终分层度量学习网络学习到的特征能包含层次标签的所有标签信息,学习到的图像特征和文本特征具有更高的数值精度,提高了跨模态信息检索的精度,增强了跨模态信息检索过程中数据特征结构的稳定性。

    基于差分多尺度多粒度特征融合的视频文本检索方法

    公开(公告)号:CN116226449A

    公开(公告)日:2023-06-06

    申请号:CN202310050175.2

    申请日:2023-02-01

    Abstract: 本发明公开了一种基于差分多尺度多粒度特征融合的视频文本检索方法,主要解决现有技术未充分利用视频时序特征及细粒度信息文本标注造成视频文本匹配精度低的问题,其实现方案为:获取视频帧序列及文本标注序列;构建特征提取网络并提取文本标注的全局和局部特征;将视频帧特征按时间序列差分并通过序列特征提取网络与帧特征结合得到视频的局部和全局特征;计算视频和文本标注的全局相似度和局部相似度,计算出损失函数;利用损失函数训练网络;利用训练好的网络计算视频与文本标注的相似度并排序得到检索结果。本发明能减少不同模态之间的语义鸿沟,挖掘视频模态数据中的时序信息,提升跨模态检索精度,可用于视频主题检测和视频应用的内容推荐。

    基于特征点重投影的单眼虹膜匹配方法

    公开(公告)号:CN112380966B

    公开(公告)日:2023-06-02

    申请号:CN202011259221.2

    申请日:2020-11-12

    Abstract: 本发明公开了一种基于特征点重投影的单眼虹膜匹配方法。主要解决现有技术计算时间复杂度高,虹膜外区域影响匹配结果的问题。其方案是:采用摄像头获取单眼虹膜图像,并对其依次进行虹膜定位、特征提取、剔除边界信息的数据预处理;用每次预处理后的虹膜区域分割图像构成虹膜识别数据库;采用摄像头获取待识别单眼虹膜图像,对其进行数据预处理;将预处理后的虹膜区域分割图像B与虹膜识别数据库中的虹膜区域分割图像A进行匹配,根据匹配的特征点对估计单应矩阵。将图B中特征点重投影至图A空间,计算对应特征点平均位置偏差,并据此判断匹配是否成功。本发明实现了对虹膜区域的分割,并在保持匹配准确度的同时提高了匹配速度,可用于身份认证。

Patent Agency Ranking