-
公开(公告)号:CN111898598B
公开(公告)日:2022-08-30
申请号:CN202010629399.5
申请日:2020-07-03
Abstract: 本发明公开了一种动态场景下基于文本的目标检测方法,构建了隐性记忆和显性记忆两种记忆机制,通过隐性记忆保存模型的重要程度,且通过重要程度去约束下一批次的训练,以及通过显性记忆保存难以迁移的数据,将难以迁移的数据放入下一批次的训练集中进行训练,能够有效的帮助神经网络模型进行记忆,避免了神经网络模型在动态场景下的灾难性遗忘问题。
-
公开(公告)号:CN114911958A
公开(公告)日:2022-08-16
申请号:CN202210647107.X
申请日:2022-06-09
Applicant: 电子科技大学
IPC: G06F16/51 , G06F16/53 , G06F16/583 , G06V10/74 , G06V10/77 , G06V10/774 , G06V10/82
Abstract: 本发明公开了一种基于语义偏好的快速图像检索方法,首先以语义(标签)关联度指导训练语义中心分配模块,得到语义中心矩阵V,然后基于语义中心矩阵V,对固定特征提取模块进行训练,这样通过依照语义关联度约束语义中心在特征空间的分布,并令特征向量朝着对应语义中心聚集,从而在语义关联度的指导下充分利用特征空间,有效避免了具备不同标签的特征向量的混淆,解决了特征分布不合理的情况,有效避免不同类特征向量的混淆,提升检索准确度;其次,本发明为码字指定了语义偏好,实现了不可导的量化损失与有偏的软量化损失之间的折衷,采用偏差较低的方案优化码字,从而提升量化器性能,以保证执行快速检索时,量化向量能更好地近似特征向量,实现了降低量化误差的目的。
-
公开(公告)号:CN109670057B
公开(公告)日:2021-06-29
申请号:CN201910005178.8
申请日:2019-01-03
Applicant: 电子科技大学
Abstract: 本发明涉及图像检索领域,其公开了一种渐进式的端到端深度特征量化系统及方法,解决传统技术中由于特征提取和量化两部分相互孤立,在数据库中的二进制编码长度需要变更时,需要重新训练神经网络并对整个数据库重新编码,而带来的耗费时间和运算资源的问题。该系统包括深度神经网络,所述深度神经网络包括:图像特征优化单元,用于将图片通过表示学习,生成用于描述图片的D维实数特征向量;特征量化单元,用于通过一个或多个量化层将特征向量转化为二进制编码;当使用多个量化层时,各个量化层的量化误差作为下一个量化层的输入,根据编码精度需求选择相应个数的量化层的量化输出的编码进行拼接,获得最终的二进制编码。
-
公开(公告)号:CN119729148A
公开(公告)日:2025-03-28
申请号:CN202411788288.3
申请日:2024-12-06
Applicant: 电子科技大学(深圳)高等研究院
IPC: H04N21/845 , G06N3/045 , G06N3/0475 , G06N3/0455 , G06N3/098 , G06T1/00
Abstract: 本发明公开了一种基于生成对抗网络的快速水印方法,属于数字水印技术领域。本发明基于一致性水印的快速生成框架,解决现有深度学习水印方法计算资源需求大的问题。传统方法需要重复调用深度模型来为每张图像或视频生成水印,计算成本高。本发明仅需一次生成水印,即可将其嵌入任意图像或视频中,无需重复调用深度模型。并且在水印效果上能够媲美现有的方法。适用于需要高效嵌入水印的场景,具有广泛的应用前景。
-
公开(公告)号:CN119600322A
公开(公告)日:2025-03-11
申请号:CN202411142457.6
申请日:2024-08-20
Applicant: 电子科技大学(深圳)高等研究院
IPC: G06V10/764 , G06V10/82 , G06V10/774 , G06F17/14
Abstract: 本发明公开了一种基于低频增强的小样本图像分类迁移方法,将现有图像分类模型划分为图像特征编码器和分类器,对于图像特征编码器中每个卷积核设置一个卷积核适配器,将卷积核适配器和分类器的参数作为可学习参数,其他参数固定为图像分类模型预训练得到的参数值,然后进行多轮训练,每个轮次中从每个图像分类任务的小样本集中采样得到支持集和查询集进行训练,在训练完毕后根据每个轮次的平均预测精度选择平均预测精度最大的模型参数作为最终的图像分类模型参数。本发明可以有效提高小样本图像分类迁移的学习速度、降低显存消耗并提高学习鲁棒性。
-
公开(公告)号:CN118916520A
公开(公告)日:2024-11-08
申请号:CN202411020426.3
申请日:2024-07-29
Applicant: 电子科技大学(深圳)高等研究院
IPC: G06F16/783 , G06F16/732 , G06F16/33 , G06F16/332 , G06F18/22 , G06F18/25 , G06V20/40 , G06V20/70 , G06F40/126 , G06F40/30 , G06N3/0455 , G06N3/08
Abstract: 本发明公开了一种基于全局与局部语义的视频‑文本检索方法,构建包括文本特征提取模块,视频特征提取模块,全局交互模块,局部交互模块和相似度融合模块的视频‑文本跨模态匹配模型,全局交互模块用于对文本特征提取模块和视频特征提取模块所提取得到的文本特征和视频特征计算得到全局相似度,局部交互模块用于基于Transformer编码器对文本的词特征和视频特征计算得到局部相似度,再由相似度融合模块将全局相似度和局部相似度融合得到视频‑文本的匹配度。本发明构建视频‑文本跨模态匹配模型,通过挖掘跨模态的潜在共享语义来优化视频‑文本检索。
-
公开(公告)号:CN109726696B
公开(公告)日:2023-04-07
申请号:CN201910004805.6
申请日:2019-01-03
Applicant: 电子科技大学
IPC: G06V20/20 , G06V10/774 , G06V30/262
Abstract: 本发明涉及图像理解领域,其公开了一种基于推敲注意力机制的图像描述生成系统及方法,解决现有图像描述方案存在的缺少润色过程、训练和测试过程不一致、生成描述辨识度不高的问题。该方法包括:a.数据集的处理:提取图像的全局特征和局部特征,构建数据集,对数据集中的单词进行标记,生成对应的词嵌入向量;b.训练图像描述生成模型:采用第一层基于残差注意力机制的解码器生成粗略的图像描述,采用第二层基于残差注意力机制的解码器对已生成的图像描述进行润色;c.结合强化学习进一步训练模型:在训练过程中模拟模型的测试过程,并且以生成描述的CIDEr分数来引导模型的训练,结合强化学习对模型进行调整。
-
公开(公告)号:CN115565052A
公开(公告)日:2023-01-03
申请号:CN202211060522.1
申请日:2022-08-30
Applicant: 电子科技大学
IPC: G06V10/86 , G06V10/82 , G06V10/776 , G06V10/764
Abstract: 本发明公开了一种基于双分支混合学习网络的无偏差场景图生成方法,涉及图像处理技术领域,解决最近无偏差场景图生成方法不能同时照顾头部谓词和尾部谓词学习的技术问题,包括以下步骤:将图像输入到目标检测器中,得到图像中实例的视觉特征、语义特征以及空间特征;将图像中实例的特征送入到粗粒度学习分支和细粒度学习分支中,其中粗粒度学习分支用以学习头部谓词的专家知识以及获得头部谓词的鲁棒性特征,细粒度学习分支用以预测具有信息性的尾部谓词;知识蒸馏,采用语义上下文模块,对细粒度学习分支的预测结果中不合理的预测进行修正,同时计算所预测的场景图的语义和所标注的场景图的语义之间的差距,并用均方差损失优化。
-
公开(公告)号:CN115131700A
公开(公告)日:2022-09-30
申请号:CN202210729782.7
申请日:2022-06-24
Applicant: 电子科技大学
IPC: G06V20/40 , G06V40/20 , G06V10/774 , G06V10/776 , G06V10/80 , G06V10/82 , G06V10/764 , G06N3/04 , G06N3/08 , G10L25/27 , G10L25/48
Abstract: 本发明公开了一种弱监督音视频内容解析的双路层次化混合模型的训练方法,所述弱监督音视频内容解析的双路层次化混合模型结构包括混合注意力网络、层次化上下文建模网络及模态引导网络,该训练方法首先使用混合注意力网络进行模态特异化标签精炼得到不完全准确的音频标注和视频标注;然后利用得到的不完全准确的音频标注和视频标注,协同训练模态引导网络和层次化上下文建模网络;通过上述训练方法,可以得到具有较强模态分辨能力的上下文层次化建模网络,较好地对音视频进行内容解析;模态引导网络强化了模态区分能力;本发明采用的双路层次化混合模型来解决弱监督音视频内容解析任务,进一步提高了模型对不同模态的适应和理解能力。
-
公开(公告)号:CN113392905B
公开(公告)日:2022-03-25
申请号:CN202110665964.8
申请日:2021-06-16
Applicant: 电子科技大学
IPC: G06V10/764 , G06V10/774 , G06N20/00
Abstract: 本发明公开了一种基于梯度修正的图像对抗攻击方法,包括以下步骤:S1、将原始图像输入分类器中,基于损失函数,得到当前迭代的梯度;S2、计算当前迭代的缩放因子;S3、对当前迭代的梯度进行线性缩放,将噪声添加到当前的原始图像中,得到当前迭代的对抗样本;S4、对当前迭代的对抗样本进行标准化处理;S5、将当前迭代的标准化对抗样本作为新的原始图像,重复步骤S1至步骤S4,直到迭代次数达到设定次数,将当前迭代的标准化对抗样本输入分类器中,得到分类器输出的错误分类结果,完成对抗攻击。本发明解决了传统基于梯度的攻击技术中由于符号函数的使用,而带来的扰动与真实梯度在方向上存在的较大差异,并进而造成有偏攻击的问题。
-
-
-
-
-
-
-
-
-