一种基于句法捷径注入的文本数据保护方法

    公开(公告)号:CN118133810A

    公开(公告)日:2024-06-04

    申请号:CN202410254607.6

    申请日:2024-03-06

    发明人: 张琨 李博 洪日昌

    摘要: 本发明公开了一种基于句法捷径注入的文本数据保护方法,包含:1获取并预处理文本数据,得到每个文本数据的句法解析树;2通过从给定文本句法中选择出n个出现频率最高的句法模板构建句法模板库;3根据给定文本的句法和构建的句法模板库,计算某一类别内文本句法和句法模板库中句法的相似度,选择出相似度最高的句法模板;4根据为每个类别选择的句法模板,为不同类别的数据添加不同的扰动,进而生成不可学习文本数据。本发明通过向文本注入句法特征,能够在不改变文本语义的同时,为文本数据添加了易于学习的特征,进而误导模型学习句法特征,而忽略文本语义特征,从而防止文本数据在被未经授权下用于模型训练。

    一种通用的单图像超分辨率模型轻量化设计方法

    公开(公告)号:CN117670681A

    公开(公告)日:2024-03-08

    申请号:CN202311672203.0

    申请日:2023-12-07

    摘要: 本发明公开了一种通用的单图像超分辨率模型轻量化设计方法,通过将多数流行单图像超分辨率模型划分为头、身、尾三部分构建自适应学生推断网络,并对不同的部分采取不同的处理策略。对于模型的头和尾部分,为了确保重建图像能够包含更多的纹理信息,引入附属增强教师网络,附属增强教师网络先利用真值图像预训练获得大量先验信息及图像特征,再通过特征蒸馏的方法指导自适应学生推断网络提取更为精确的纹理细节。对于模型的身体部分,引入自适应网络深度预测模块为每个图像块预测最优的网络深度,并且能够通过调节阈值以动态缩短网络的平均深度。本发明可以兼顾单图像超分辨率模型的性能和轻量化效果。

    基于帧间信息交互和特征聚合的视频超分辨率方法

    公开(公告)号:CN117670678A

    公开(公告)日:2024-03-08

    申请号:CN202311671977.1

    申请日:2023-12-07

    摘要: 本发明公开了一种基于帧间信息交互和特征聚合的视频超分辨率方法,包括以下步骤:步骤1、构建视频超分辨率神经网络模型,视频超分辨率神经网络模型包括帧间信息交互部分、浅层特征提取部分、深层特征提取部分、重建部分;步骤2、通过训练集对步骤1构建的视频超分辨率神经网络模型进行训练,得到训练好的视频超分辨率神经网络模型;步骤3、将待重建的视频序列输入至训练好的视频超分辨率神经网络模型中,得到超分辨率结果。本发明可以使计算资源有限的视频设备上利用深度学习方法实现把低分辨率视频重建为高分辨率视频。

    基于语言专家模型的视觉常识推理方法

    公开(公告)号:CN117540809A

    公开(公告)日:2024-02-09

    申请号:CN202311643941.2

    申请日:2023-12-04

    IPC分类号: G06N5/04 G06N5/02 G06N3/0455

    摘要: 本发明公开了一种基于语言专家模型的视觉常识推理方法,包括以下步骤:步骤1、获取多个图像‑文本对数据构建数据集,图像‑文本对数据中视觉元素为图像,语言元素为问题、答案选项和解释选项;步骤2、采用图像‑文本对数据,对视觉语言模型VLM进行预训练得到联合表示;并且,将语言元素输入至GreaseLM模型得到联合表示;步骤3、通过多层感知器将VL‑bert模型、GreaseLM模型分别输出的联合表示结合,由此得到答案选项和解释选项的预测分布。本发明方法能够引入域外的常识信息来降低训练时对于多模态数据集数据量的要求,进而能够有效提升模型推理能力。

    一种基于信息瓶颈去噪的多媒体推荐方法

    公开(公告)号:CN117271808A

    公开(公告)日:2023-12-22

    申请号:CN202311351239.9

    申请日:2023-10-18

    摘要: 本发明公开了一种基于信息瓶颈去噪的多媒体推荐方法,包括:1.构造异构数据:用户对产品的交互矩阵,产品的多媒体内容数据;2.使用预训练模型提取产品多媒体内容特征;3.根据多媒体内容特征构造产品关联矩阵;4.基于深度图神经模型学习用户和产品表征矩阵;5.基于信息瓶颈理论最小化多媒体内容与其表征之间的互信息,计算损失函数;6.基于用户和产品表征矩阵重构交互矩阵,计算损失函数;7.联合步骤5‑6的损失函数进行多任务学习,更新模型参数至模型收敛。本发明基于信息瓶颈的思想,在满足推荐任务的需求下学习最少的多媒体内容信息,可以有效的去除多媒体内容中的冗余信息,从而能实现更加精准的多媒体推荐。

    有图像引导的故事结尾生成模型的迭代式对抗攻击方法

    公开(公告)号:CN117115827A

    公开(公告)日:2023-11-24

    申请号:CN202310534074.2

    申请日:2023-05-12

    IPC分类号: G06V30/19 G06F40/30 G06F21/60

    摘要: 本发明公开了一种有图像引导的故事结尾生成模型的迭代式对抗攻击方法,本发明以有效地对文本‑图像样本对进行不可感知的攻击,将图像模态攻击融合到文本模态攻击中,当原始文本中的每一个小的扰动都变成连续空间时,迭代地扰动图像模态,这样就可以对图像引导的故事结尾生成模型的对抗性文本和图像进行攻击搜索,而不是独立搜索(单模态攻击方法)。实验结果表明,迭代式对抗攻击方法在攻击成功率和语义相似度方面优于现有的单模态对抗性攻击方法(kNN和WordSwap)和多模态对抗性攻击方法(Co‑attack)。

    面向视觉-语言预训练模型的多模态迁移对抗攻击方法

    公开(公告)号:CN117094000A

    公开(公告)日:2023-11-21

    申请号:CN202310991798.X

    申请日:2023-08-08

    摘要: 本发明公开了一种面向视觉‑语言预训练模型的多模态迁移对抗攻击方法,(1)定义问题和最大化损失函数;(2)基于梯度信息同时生成对抗性图像和对抗性文本,利用对比学习提升多模态对抗样本的迁移性。本发明提出的方法基于梯度信息将文本对抗攻击和图像对抗攻击整合到一个统一的框架中,可以同时生成对抗性文本和对抗性图像;同时本发明利用对比学习可以提高特征迁移性的特点,通过图文跨模态对比学习和模态内对比学习使得对抗样本能够在特征空间中从不同的视角远离原始样本,从而扰动多模态样本中一般化的结构特征,缓解了对抗样本在替代模型上过拟合的情况。

    一种基于过渡模态的RGB-D跨模态行人识别方法

    公开(公告)号:CN117037210A

    公开(公告)日:2023-11-10

    申请号:CN202310963056.6

    申请日:2023-07-31

    发明人: 吴晶晶 洪日昌

    摘要: 本发明提供了一种基于过渡模态的RGB‑D跨模态行人识别方法。该方法包括:获取包括行人信息的深度图像以及RGB图像,利用模态生成操作生成深度图像与RGB图像的过渡模态图像;利用三流网络和深层网络提取三模态图像的特征,将深度图像、RGB图像和过渡模态图像输入到三模态转换器中得到嵌入了不同模态关系的三个模态特征;利用跨模态对比损失函数减小不同模态间的特征差异,得到训练好的跨模态图像行人识别模型,将待搜索行人的RGB图像和深度模态图像的候选库输入到训练好的跨模态图像行人识别模型,获取搜索到的行人的深度图像。本发明使用跨模态对比学习来同时约束两个模态特征,通过对比学习使输入的两个模态特征更加的相似,提升过渡模态的生成质量。

    一种基于软提示主题建模的抑郁情绪检测方法及系统

    公开(公告)号:CN116992867A

    公开(公告)日:2023-11-03

    申请号:CN202310704301.1

    申请日:2023-06-14

    IPC分类号: G06F40/279 G06N3/04 G06N3/08

    摘要: 本发明公开了一种基于软提示主题建模的抑郁情绪检测方法及系统,属于情绪检测技术领域,包括:第一步,将每个样本的对话转录文本按照预定义的k个主题分割成若干个小片段。第二步,首先修改BERT模型的Embedding层,当文本片段转换为的Token输入BERT时,在其前部添加上固定长度的软提示Token。连接后的Token经过BERT的输出软提示和文本片段的连续概率,该向量作为最后一步的输入。最后一步是对样本中的所有主题文本的预测结果的融合。在有少量可用训练样本的场景下,通过少量数据训练软提示以及线性层学习自适应权重。