-
公开(公告)号：CN118568487A
公开(公告)日：2024-08-30
申请号：CN202410548464.X
申请日：2024-05-06
IPC分类号： G06F18/214 , G06F18/25 , G06F18/2431 , G06N3/042
摘要： 本申请实施例提供一种多模态轻量级动态知识增强方法、装置及存储介质，所述方法包括：基于图像小样本集的向量表征和文本小样本集的向量表征，以多模态视觉码书的形式构建图像小样本知识库和文本小样本知识库；基于单模态搜索的方式从所述图像小样本知识库或所述文本小样本知识库中确定待融合表征的跨模态表征，融合所述待融合表征和所述跨模态表征，得到知识增强后的融合表征。本申请实施例提供的多模态轻量级动态知识增强方法、装置及存储介质，在现有大规模预训练多模态模型的强大表征学习基础上，融合罕见且细粒度的跨模态表征信息，以此提高原始表征的质量，并显著提升对特定信息的检索效率。
-
公开(公告)号：CN112215908B
公开(公告)日：2022-12-02
申请号：CN202011086137.5
申请日：2020-10-12
申请人： 国家计算机网络与信息安全管理中心 , 中国科学院自动化研究所
摘要： 本发明属于计算机视觉领域，具体涉及一种面向压缩域的视频内容比对系统、优化方法、比对方法，旨在为了解决使用全解码信息完成视频内容比对效率不高的问题。本发明比对系统包括：特征学习模块，基于输入视频的多种压缩域信息，分别获取多种模态的特征图；多模态压缩域信息融合模块，对所述特征学习模块输出的多种模态的特征图进行信息融合，得到所述输入视频的融合特征向量；第二模块，配置为获取两个输入视频的融合特征向量的L1距离；分类器为二分类网络，配置为基于所述第二模块输出的L1距离进行比对结果的二分类。本发明可以有效地提取视频内容的高层语义信息，保证了视频内容的比对高速度和高性能。
-
公开(公告)号：CN109815789A
公开(公告)日：2019-05-28
申请号：CN201811514183.3
申请日：2018-12-11
申请人： 国家计算机网络与信息安全管理中心 , 中国科学院自动化研究所
摘要： 本发明涉及人脸检测技术领域，具体涉及一种在CPU上实时多尺度人脸检测方法与系统及相关设备，目的在于降低人脸检测的硬件成本，提高人脸检测的速度与准确度。本发明的人脸检测系统包括：特征提取模块、多尺度检测模块和非极大值抑制模块。其中，特征提取模块配置为：从待检测图像中提取关键特征，得到多尺度的待检测特征图；多尺度检测模块配置为：根据多尺度的待检测特征图预测人脸得分和相应的位置；非极大值抑制模块配置为：根据人脸得分进行非极大值抑制，从而得到检测结果。本发明降低了人脸检测的硬件成本，提高了多尺度人脸检测的速度与准确度，能在CPU上实现准确率较高的多尺度人脸检测功能，继而可以应用在手机等平台上。
-
公开(公告)号：CN109190750A
公开(公告)日：2019-01-11
申请号：CN201810737975.0
申请日：2018-07-06
申请人： 国家计算机网络与信息安全管理中心 , 中国科学院自动化研究所
摘要： 本发明涉及深度学习技术领域，具体提供了一种基于对抗生成网络的小样本生成方法及装置，旨在解决如何在少量样本数据的情况下利用生成对抗网络生成样本数据的技术问题。为此目的，本发明提供的基于对抗生成网络的小样本生成方法能够基于对抗生成网络并根据随机噪声和标签信息，生成小样本类型对应的样本。在此过程中，本发明采用迁移学习和批量训练的方法对对抗生成网络进行网络训练，使生成对抗网络可以有效迁移应用于少量样本的对抗生成网络样本生成任务中。
-
公开(公告)号：CN112235569B
公开(公告)日：2024-03-29
申请号：CN202011086957.4
申请日：2020-10-12
申请人： 国家计算机网络与信息安全管理中心 , 中国科学院自动化研究所
IPC分类号： H04N19/107 , H04N19/109 , H04N19/11 , H04N19/124 , H04N19/139 , H04N19/91 , G06V20/40 , G06V10/764 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/045 , G06N3/08 , G06T7/207 , G06T7/246
摘要： 本发明属于计算机视觉领域，具体涉及了一种基于H264压缩域的快速视频分类方法、系统及装置，旨在解决现有视频分类技术速度慢、模型复杂度高的问题。本发明包括：提取H264标准的视频的I帧、P帧和B帧数据；进行I帧的解码及P帧和B帧的熵解码，获得I帧图像及视频帧之间的运动矢量；分别构建高低时间分辨率模型，并通过时间尺度注意力模块建模不同时间分辨率的特征进行模型融合；基于I帧图像和帧之间的运动矢量，获取四个初步预测分类；进行四个初步预测分类的加权融合，获得最终的预测分类结果。本发明无需进行所有视频帧的全解码，模型参数量小，可以有效提高视频分类速度，并能很好地识别视频中快慢不同的运动信息，实用性更强。
-
公开(公告)号：CN112235569A
公开(公告)日：2021-01-15
申请号：CN202011086957.4
申请日：2020-10-12
申请人： 国家计算机网络与信息安全管理中心 , 中国科学院自动化研究所
IPC分类号： H04N19/107 , H04N19/109 , H04N19/11 , H04N19/124 , H04N19/139 , H04N19/91 , G06K9/00 , G06K9/62 , G06N3/04 , G06N3/08 , G06T7/207 , G06T7/246
摘要： 本发明属于计算机视觉领域，具体涉及了一种基于H264压缩域的快速视频分类方法、系统及装置，旨在解决现有视频分类技术速度慢、模型复杂度高的问题。本发明包括：提取H264标准的视频的I帧、P帧和B帧数据；进行I帧的解码及P帧和B帧的熵解码，获得I帧图像及视频帧之间的运动矢量；分别构建高低时间分辨率模型，并通过时间尺度注意力模块建模不同时间分辨率的特征进行模型融合；基于I帧图像和帧之间的运动矢量，获取四个初步预测分类；进行四个初步预测分类的加权融合，获得最终的预测分类结果。本发明无需进行所有视频帧的全解码，模型参数量小，可以有效提高视频分类速度，并能很好地识别视频中快慢不同的运动信息，实用性更强。
-
公开(公告)号：CN115019087B
公开(公告)日：2024-11-19
申请号：CN202210557333.9
申请日：2022-05-20
申请人： 国家计算机网络与信息安全管理中心 , 中国科学院自动化研究所
IPC分类号： G06V10/764 , G06V10/774 , G06V10/80 , G06V10/77
-
公开(公告)号：CN118014049A
公开(公告)日：2024-05-10
申请号：CN202410177798.0
申请日：2024-02-08
申请人： 国家计算机网络与信息安全管理中心 , 中国科学院自动化研究所
IPC分类号： G06N3/09 , G06N3/0455 , G06F18/22 , G06F18/2431 , G06F40/30 , G06V20/70 , G06V10/40 , G06V10/82
摘要： 本发明提供一种图文互生模型的训练方法，该方法包括：基于模态自感单元从样本模态数据中提取自感信息；模态自感单元基于自注意力网络通过多任务有监督训练得到；基于图文编码器对自感信息进行编码，得到隐空间特征，并对隐空间特征进行多模态扩散处理，得到扩散后的目标模态类型的隐空间特征；基于图文解码器对自感信息和扩散后的目标模态类型的隐空间特征进行解码，得到解码信息；根据解码信息和多任务损失函数对图文编码器和图文解码器进行训练，得到图文互生模型；目标损失包括重建损失、图像类的理解辅助任务对应损失和文本类的理解辅助任务对应损失确定。本发明所述方法提高了图文互生对应模型的性能和可适配性。
-
公开(公告)号：CN115527140A
公开(公告)日：2022-12-27
申请号：CN202210786900.8
申请日：2022-07-04
申请人： 国家计算机网络与信息安全管理中心 , 中国科学院自动化研究所
摘要： 本发明提供一种敏感内容检测方法、装置、电子设备和存储介质，涉及内容安全技术领域，所述方法包括：获取待检测视频；将待检测视频输入至视觉元素分析模型，得到视觉元素分析模型输出的视觉元素结果和视觉特征；将待检测视频输入至听觉元素分析模型，得到听觉元素分析模型输出的听觉元素结果和听觉特征；将视觉特征和听觉特征输入至事件检测模型，输出用于表征是否包含敏感内容的事件检测结果；将视觉元素结果和听觉元素结果与敏感内容规则库匹配，输出敏感事件类型，并结合事件检测结果和敏感事件类型，确定敏感内容检测结果。本发明可实现对视频敏感内容的全面检测，提升检测灵活度和准确度。
-
公开(公告)号：CN112215908A
公开(公告)日：2021-01-12
申请号：CN202011086137.5
申请日：2020-10-12
申请人： 国家计算机网络与信息安全管理中心 , 中国科学院自动化研究所
摘要： 本发明属于计算机视觉领域，具体涉及一种面向压缩域的视频内容比对系统、优化方法、比对方法，旨在为了解决使用全解码信息完成视频内容比对效率不高的问题。本发明比对系统包括：特征学习模块，基于输入视频的多种压缩域信息，分别获取多种模态的特征图；多模态压缩域信息融合模块，对所述特征学习模块输出的多种模态的特征图进行信息融合，得到所述输入视频的融合特征向量；第二模块，配置为获取两个输入视频的融合特征向量的L1距离；分类器为二分类网络，配置为基于所述第二模块输出的L1距离进行比对结果的二分类。本发明可以有效地提取视频内容的高层语义信息，保证了视频内容的比对高速度和高性能。
-
-
-
-
-
-
-
-
-
搜索结果
15 条记录 (耗时 0.04 秒)
