-
公开(公告)号:CN110399886A
公开(公告)日:2019-11-01
申请号:CN201910635863.9
申请日:2019-07-15
Applicant: 华侨大学
Abstract: 本发明涉及一种屏幕图像JND模型构建方法。首先利用文本分割技术得到屏幕图像的文本区域;其次提取文本区域的边缘像素,将屏幕图像分为文本边缘区域和非文本边缘区域;然后利用边缘宽度和边缘对比度计算出边缘结构失真敏感度和边缘对比度掩蔽,得到文本边缘区域视觉掩蔽模型;接着计算出非文本边缘区域的亮度自适应和对比度掩蔽效应,得到非文本边缘区域视觉掩蔽模型;最后结合文本边缘区域和非文本边缘区域的视觉掩蔽模型得到屏幕图像JND模型。本发明充分考虑屏幕图像特点以及人眼对屏幕图像不同区域具有不同的视觉感知特性等因素,对屏幕图像的视觉冗余信息有较为准确的估计,可广泛地应用到屏幕图像技术领域。
-
公开(公告)号:CN118506168A
公开(公告)日:2024-08-16
申请号:CN202410954584.X
申请日:2024-07-17
Applicant: 华侨大学 , 杭州电子科技大学 , 厦门亿联网络技术股份有限公司
IPC: G06V10/98 , G06N3/045 , G06N3/0464 , G06T7/13 , G06V10/40 , G06V10/54 , G06V10/776 , G06V10/80 , G06V10/82 , G06V20/40
Abstract: 本发明公开一种基于多重特征网络的沉浸式视频质量评价方法及装置,涉及图像处理领域,包括:在沉浸式视频质量评价模型中,通过视频预处理网络对待评价的沉浸式视频包含的多个视点的纹理视频和深度视频进行视点筛选,得到筛选后视点的纹理视频和深度视频,通过时空特征提取网络对筛选后视点的纹理视频和深度视频进行特征提取并计算得到对应视点的纹理视频的质量分数和深度视频的质量分数;通过权重计算网络计算得到筛选后视点的时空轨迹权重,将筛选后视点的时空轨迹权重与对应视点的纹理视频的质量分数和深度视频的质量分数输入质量分数计算模块计算得到沉浸式视频的质量分数。本发明解决现有沉浸式视频质量评价算法效果较差的问题。
-
公开(公告)号:CN112818135B
公开(公告)日:2022-11-01
申请号:CN202110208342.2
申请日:2021-02-24
Applicant: 华侨大学 , 厦门亿联网络技术股份有限公司
Abstract: 本发明公开了一种基于公共语义空间学习构建图文知识图谱方法,包括如下步骤:构建深度神经网络用于图像与文本数据的深度特征提取;将图像与文本数据对oi=(xi,li,yi)分别输入到深度神经网络中训练;其中oi表示第i对图像‑文本对数据以及对应的标签,xi,yi与li分别表示第i个图像数据、文本数据以及对应的标签数据;通过损失函数学习两种图像和文本数据间的公共语义表达,并将图像与文本特征转化到公共语义空间中;根据相似度度量,依据CN‑DBpedia的构建方法构建知识图谱。本发明提供的方法能有效实现图像、文本两种不同的模态间的知识图谱构建。
-
公开(公告)号:CN114239730A
公开(公告)日:2022-03-25
申请号:CN202111564321.0
申请日:2021-12-20
Applicant: 华侨大学 , 厦门亿联网络技术股份有限公司
Abstract: 本发明公开了一种基于近邻排序关系的跨模态检索方法,包括:构建用于图像模态数据以及文本模态数据的深度语义特征提取的深度神经网络模型;将图像数据与文本数据对分别输入到所述深度神经网络模型中进行训练;结合近邻样本排序损失函数和语义相似度度量损失函数,计算语义对齐的损失值,通过训练缩小损失值,得到训练好的深度神经网络模型;通过训练好的深度神经网络模型提取到图像数据和文本数据间的公共语义表达,并将图像的深度语义特征与文本的深度语义特征转化到公共语义空间中,实现语义相似度的度量和检索。本发明方法能够有效地实现图像和文本两种不同模态数据间的跨模态检索。
-
公开(公告)号:CN113010720A
公开(公告)日:2021-06-22
申请号:CN202110208356.4
申请日:2021-02-24
Applicant: 华侨大学 , 厦门亿联网络技术股份有限公司 , 厦门云知芯智能科技有限公司 , 厦门华联电子股份有限公司
IPC: G06F16/583 , G06F16/33 , G06N3/04 , G06N3/08
Abstract: 本发明提供一种基于关键对象特征的深度监督跨模态检索方法,具体包括:首先构建特征学习模块抽取每个模态的深度特征,建立每个模态的注意力网络模型将各个模态抽取的特征分为关键特征和辅助特征,然后将每个模态抽取的关键特征和辅助特征进行融合作为最终的语义表征,最后建立三重损失函数:公共空间损失,标签空间损失和模态间不变性损失对模型进行训练学习。本发明提供的方法不仅能提高检索速度而且能够有效解决跨模态检索中精确度不高的问题。
-
公开(公告)号:CN110278444A
公开(公告)日:2019-09-24
申请号:CN201910645303.1
申请日:2019-07-17
Applicant: 华侨大学
IPC: H04N19/96 , H04N19/91 , H04N19/124 , H04N19/103 , H04N19/597 , H04N19/176 , H04N19/64
Abstract: 本发明公开了一种采用几何引导的稀疏表示三维点云压缩方法,属于视频编码领域,方法包括:采用八叉树对输入三维点云进行分块;采用图形变换的方法得到原始的冗余字典;利用块内点云的几何信息对原始的冗余字典进行降采样;对每个单元块进行去均值,随后对去均值的颜色信息在降采样字典上稀疏表示;利用基于八叉树的块均值预测算法对每个编码单元块的均值进行预测编码;采用Run-Level的方法对量化后的稀疏系数进行编码;最后用算术编码器对所有已编码的参数进行熵编码。本发明利用稀疏表示,能够对庞大的三维点云数据进行高效压缩,极大地提高了三维点云的传输和存储效率。
-
-
-
-
-