一种利用风格和内容的域适应校正方法

    公开(公告)号:CN114255338A

    公开(公告)日:2022-03-29

    申请号:CN202111564112.6

    申请日:2021-12-20

    Abstract: 本发明公开了一种利用风格和内容的域适应校正方法,先利用校准器对源域和目标域图片进行重建,生成源域风格目标域图片和源域风格的源域图片,即重建的源域图片。然后利用解码器对四张图片进行特征提取,以及特征解耦,分为风格特征以及内容特征。设计两个分辨器使其辨别不出重构的目标域图片和源域图片。本发明方法不仅在特征级别进行域适应,而且进行像素级别的域适应,使生成的图片可以更好的应用于分类器。并且不仅单纯的考虑了特征级别的相似性,对特征进行解耦,分为内容特征以及风格特征,从风格特征和内容特征两方面对特征进行域适应。

    一种基于双向CNN的跨模态语义聚类方法

    公开(公告)号:CN113537304A

    公开(公告)日:2021-10-22

    申请号:CN202110718799.8

    申请日:2021-06-28

    Abstract: 本发明公开了一种基于双向CNN的跨模态语义聚类方法,首先进行数据的预处理,对训练集的文本样本进行预训练;然后构建跨模态检索网络,通过训练集训练跨模态检索网络,计算网络的损失函数;进行反向传播,通过选定的优化器和相应参数对连接权重进行优化;训练多轮后得到最终的网络模型;最后通过测试集的对训练好的模型进行测试,计算各项评价指标。本发明方法利用语义信息的聚类,来提高了跨模态检索的精确度和效率。本发明设计了一项在目标空间中样本和聚类中心的损失,类别在不同模态中的分布差异损失以及判别损失来帮助语义聚类,不仅加强了不同类别间的识别能力,而且增强了不同模式之间的相关性。

    一种基于质量评估的视频显著性目标检测方法

    公开(公告)号:CN113936235A

    公开(公告)日:2022-01-14

    申请号:CN202111075792.5

    申请日:2021-09-14

    Abstract: 本发明公开了一种基于质量评估的视频显著性目标检测方法,首先构建视频显著性目标检测网络框架,基于一个双流的编码‑解码结构,主干网络采用ResNet101网络,一条支流的输入为RGB图像,提取图像的空间特征,称其RGB支流,另一条支流的输入为光流图像,提取图像间的时间信息,称其运动支流,通过RAFT算法处理视频中连续两帧图像,计算得到光流图,用于反映视频中物体的运动。在两个分支中引入了多尺度感知模块、质量评估模块、时空信息交互模块、双差分增强模块,与现有的基于双流的视频显著性目标检测方法相比,本文提出的框架能自适应的捕获准确的空间和时间信息,从而获取准确的预测结果。

    一种基于深度学习的跨模态检索方法

    公开(公告)号:CN112487822A

    公开(公告)日:2021-03-12

    申请号:CN202011215604.X

    申请日:2020-11-04

    Abstract: 本发明公开了一种基于深度学习的跨模态检索方法。本发明步骤如下:步骤1:数据的预处理,对训练集的文本样本进行预训练;步骤2:设计网络结构模型;步骤3:训练网络;将训练集中的样本输入到编码器进行特征提取;步骤4:计算网络的损失函数;步骤5:对网络模型进行测试;将测试集的图像文本输入到训练好的模型,得到预测的图像文本的高级语义表示,通过计算得到的平均精度均值对模型进行评估。本发明不仅考虑了标签信息空间的损失,还考虑到了公共空间中两种模态下所有的样本的辨别力损失以及模态不变性损失。对比现有的方法,本发明方法在不同的数据下分别提高了0.01~0.06个指标。

Patent Agency Ranking