基于上下文信息指导的场景分割方法和系统

    公开(公告)号:CN109657538B

    公开(公告)日:2021-04-27

    申请号:CN201811309249.5

    申请日:2018-11-05

    Abstract: 本发明涉及一种基于上下文信息指导的场景分割方法,包括:以残差结构网络构建基于上下文信息的指导模块;以原始图像为输入,通过多个3×3卷积层输出初级特征图;以该初级特征图为输入,通过多个该指导模块输出中级特征图;以该中级特征图为输入,通过多个该指导模块输出高级特征图;以该高级特征图为输入,通过场景分割子网络,获得该原始图像的场景分割结果。本发明设计的分割网络的参数量小,并且在特征提取时,利用全局特征提取器进一步去修正局部特征和对应的周围上下文特征组合成的联合特征,这使得模型更有利于去学习分割的特征,极大的提高了现有移动端场景分割网络的性能。

    一种生成描述图像内容的自然语言的方法与系统

    公开(公告)号:CN107918782B

    公开(公告)日:2020-01-21

    申请号:CN201711265210.3

    申请日:2017-12-05

    Abstract: 本发明提供了一种训练用于生成描述图像内容的自然语言的模型的方法,以及采用所述模型生成描述图像内容的自然语言的方法。其中,所述训练方法,包括:A1)将图像训练集中图像的全局特征以及局部特征作为注意力机制的输入,以获得同时包含全局特征以及局部特征的融合的结果;A2)将所述融合的结果和单词训练集作为长短记忆网络的输入,利用损失函数对所述注意力机制以及所述长短记忆网络进行训练,获得所述注意力机制的权值以及所述长短记忆网络的权值;其中,所述损失函数是已知图像的内容、以及描述所述图像内容的自然语句中前一个或多个单词时第i个单词的条件概率的函数,i=1,…imax。

    融合全局信息的场景分割修正方法与系统

    公开(公告)号:CN107564007A

    公开(公告)日:2018-01-09

    申请号:CN201710650525.3

    申请日:2017-08-02

    Inventor: 唐胜 张蕊 李锦涛

    Abstract: 本发明涉及一种场景分割修正方法,通过全局残差修正网络,以完全残差卷积网络作为前端模型,将该前端模型的置信度图和原始图像按通道拼接起来,作为该全局残差修正网络的输入,从而输出全局修正残差,将该全局修正残差与该置信度图相加,得到场景分割的修正结果;使用已知的场景分割数据集对该全局残差修正网络进行训练;使用已知的场景分割数据集对该全局残差修正网络进行训练。同时本发明还提出了将该全局残差修正网络和局部边界修正网络串联起来,形成级联的框架,该级联的框架可以对前端模型的分割结果进行全局修正和局部修正,从而得到更加精确的场景分割结果。

    一种视频字幕信息提取方法

    公开(公告)号:CN101453575B

    公开(公告)日:2010-07-21

    申请号:CN200710178831.8

    申请日:2007-12-05

    Abstract: 本发明提供一种视频字幕信息提取方法,包括:对需要提取字幕的视频图像进行预处理;对预处理后的视频图像进行多尺度的字幕区域检测,得到代表字幕区域大小与位置的矩形块;利用所述的矩形块,对检测到的字幕区域进行分割;对分割得到的字幕区域增强对比度;采用K均值聚类的方法实现对字幕的提取。本发明对字幕的不同语言类型、字体、尺寸以及视频节目类型都具有通用性;具有字幕区域检测和文字识别准确率高,速度快的优点;在字幕区域检测时不需要进行模型的训练,减少了模型训练不好影响预测结果的可能性。

    一种视频字幕信息提取方法

    公开(公告)号:CN101453575A

    公开(公告)日:2009-06-10

    申请号:CN200710178831.8

    申请日:2007-12-05

    Abstract: 本发明提供一种视频字幕信息提取方法,包括:对需要提取字幕的视频图像进行预处理;对预处理后的视频图像进行多尺度的字幕区域检测,得到代表字幕区域大小与位置的矩形块;利用所述的矩形块,对检测到的字幕区域进行分割;对分割得到的字幕区域增强对比度;采用K均值聚类的方法实现对字幕的提取。本发明对字幕的不同语言类型、字体、尺寸以及视频节目类型都具有通用性;具有字幕区域检测和文字识别准确率高,速度快的优点;在字幕区域检测时不需要进行模型的训练,减少了模型训练不好影响预测结果的可能性。

    一种数字图像哈希签名方法

    公开(公告)号:CN100361437C

    公开(公告)日:2008-01-09

    申请号:CN200510077454.X

    申请日:2005-06-23

    Abstract: 本发明公开的数字图像哈希签名方法,由数字签名的生成、数字签名匹配和篡改定位组成,数字签名生成包括:1)求DCT系数;2)量化DCT低频系数,得到DCT数据矩阵;3)对DCT数据矩阵做标准化和主成分分析,得到特征向量矩阵和特征向量值;4)量化特征向量矩阵和特征值向量,生成签名;数字签名匹配包括:5)反量化特征向量矩阵;6)计算相似度;7)将相似度与阈值做比较,由比较结果决定是否匹配;篡改定位包括:8)求待检验图像的新坐标矩阵;9)估算原始图像的新坐标矩阵;10)计算待检验图像与原始图像对应块的差值向量矩阵;11)用待检图像的特征值向量,计算HTS向量;12)确定篡改块的位置。

    一种基于大型语言模型的文生图模型动态评估方法及装置

    公开(公告)号:CN118377928A

    公开(公告)日:2024-07-23

    申请号:CN202410501754.9

    申请日:2024-04-25

    Abstract: 本发明提出一种基于大型语言模型的文生图模型动态评估方法,包括:LLM根据所选的主题生成测试输入文本,待评估的文生图模型根据测试输入文本生成测试图片,记录测试图片生成的准确率,并判断准确率是否低于阈值,若是则执行文本调整步骤;调整测试输入文本,得到多个调整输入文本,文生图模型根据测试输入文本生成调整图片,将准确率低于阈值的调整图片对应的调整输入文本作为失败文本;LLM根据当前主题下所有测试输入文本和调整输入文本的图片生成的准确率,分析文生图模型的对错原因,LLM分析对错原因和当前主题,生成新的主题,再次执行文本生成步骤,直到达到用户需求,保存当前所有失败文本作为文生图模型的评估结果。

    一种基于记忆存储的持续对抗防御方法及系统

    公开(公告)号:CN117592547A

    公开(公告)日:2024-02-23

    申请号:CN202311575231.0

    申请日:2023-11-23

    Abstract: 本发明提出一种基于记忆存储的持续对抗防御方法,包括:获取持续学习模型的分类器的类别;对该持续学习模型的记忆训练数据和当前任务的当前训练数据生成对抗样本,将该对抗样本输入该持续学习模型,进行持续对抗训练;并在该持续对抗训练中,对该对抗样本的类别logit值以校正值进行校正;以完成训练后的持续学习模型执行该当前任务。本发明还提出一种基于记忆存储的持续对抗防御系统,以及一种用于实现基于记忆存储的持续对抗防御的数据处理装置。

    基于人脸时序信息的人脸视频深度伪造检测方法与装置

    公开(公告)号:CN117275064A

    公开(公告)日:2023-12-22

    申请号:CN202311211903.X

    申请日:2023-09-19

    Inventor: 唐胜 王志浩 曹娟

    Abstract: 本发明提出一种基于人脸时序信息的人脸视频深度伪造检测方法和装置,包括:获取以标准真伪标签的人脸视频作为训练数据;通过基础网络对训练数据中多个视频帧提取特征,得到原始特征,以原始特征进行三维人脸重建,得到重建图像;基础网络对重建图像提取特征,得到重建特征;特征差分模块对原始特征以及重建图进行差分并对差分结果进行降维,得到差分特征;将重建特征和差分特征作为查询特征,并将原始特征作为待查询特征,分别输入查询模块,根据查询特征与待查询特征的相似度,对待查询特征的重新加权,得到加权差分特征和加权重建特征;自适应融合模块将原始特征、加权差分特征和加权重建特征加权融合后进行真伪分类。

Patent Agency Ranking