-
公开(公告)号：CN112818135A
公开(公告)日：2021-05-18
申请号：CN202110208342.2
申请日：2021-02-24
Applicant: 华侨大学 , 厦门亿联网络技术股份有限公司
Abstract: 本发明公开了一种基于公共语义空间学习构建图文知识图谱方法，包括如下步骤：构建深度神经网络用于图像与文本数据的深度特征提取；将图像与文本数据对oi＝(xi,li,yi)分别输入到深度神经网络中训练；其中oi表示第i对图像‑文本对数据以及对应的标签，xi，yi与li分别表示第i个图像数据、文本数据以及对应的标签数据；通过损失函数学习两种图像和文本数据间的公共语义表达，并将图像与文本特征转化到公共语义空间中；根据相似度度量，依据CN‑DBpedia的构建方法构建知识图谱。本发明提供的方法能有效实现图像、文本两种不同的模态间的知识图谱构建。
-
公开(公告)号：CN118506168B
公开(公告)日：2024-10-15
申请号：CN202410954584.X
申请日：2024-07-17
Applicant: 华侨大学 , 杭州电子科技大学 , 厦门亿联网络技术股份有限公司
IPC: G06V10/98 , G06N3/045 , G06N3/0464 , G06T7/13 , G06V10/40 , G06V10/54 , G06V10/776 , G06V10/80 , G06V10/82 , G06V20/40
Abstract: 本发明公开一种基于多重特征网络的沉浸式视频质量评价方法及装置，涉及图像处理领域，包括：在沉浸式视频质量评价模型中，通过视频预处理网络对待评价的沉浸式视频包含的多个视点的纹理视频和深度视频进行视点筛选，得到筛选后视点的纹理视频和深度视频，通过时空特征提取网络对筛选后视点的纹理视频和深度视频进行特征提取并计算得到对应视点的纹理视频的质量分数和深度视频的质量分数；通过权重计算网络计算得到筛选后视点的时空轨迹权重，将筛选后视点的时空轨迹权重与对应视点的纹理视频的质量分数和深度视频的质量分数输入质量分数计算模块计算得到沉浸式视频的质量分数。本发明解决现有沉浸式视频质量评价算法效果较差的问题。
-
公开(公告)号：CN117014610B
公开(公告)日：2023-12-29
申请号：CN202311280429.6
申请日：2023-10-07
Applicant: 华侨大学
IPC: H04N19/119 , H04N19/103 , H04N19/96
Abstract: 本发明公开了一种基于多任务学习的H.266VVC屏幕内容帧内CU快速划分方法及装置，涉及视频编码领域，该方法包括：获取屏幕内容视频，将128×128大小的CTU直接划分为64×64大小的CU；构建多任务学习网络模型，多任务学习网络模型包括主干网络、第一子网络和第二子网络，主干网络用于提取CU特征，将CU特征输入第一子网络和第二子网络，得到CU划分类型和编码模式，可结合编码模式及其预测概率和临近CU的划分类型综合确定预测结果；将64×64大小的CU输入经训练的多任务学习网络模型，得到第一预测结果；若第一预测结果为划分，则进一步划分为4个32×32大小的CU，并输入经训练的多任
-
公开(公告)号：CN117014610A
公开(公告)日：2023-11-07
申请号：CN202311280429.6
申请日：2023-10-07
Applicant: 华侨大学
IPC: H04N19/119 , H04N19/103 , H04N19/96
Abstract: 本发明公开了一种基于多任务学习的H.266VVC屏幕内容帧内CU快速划分方法及装置，涉及视频编码领域，该方法包括：获取屏幕内容视频，将128×128大小的CTU直接划分为64×64大小的CU；构建多任务学习网络模型，多任务学习网络模型包括主干网络、第一子网络和第二子网络，主干网络用于提取CU特征，将CU特征输入第一子网络和第二子网络，得到CU划分类型和编码模式，可结合编码模式及其预测概率和临近CU的划分类型综合确定预测结果；将64×64大小的CU输入经训练的多任务学习网络模型，得到第一预测结果；若第一预测结果为划分，则进一步划分为4个32×32大小的CU，并输入经训练的多任务学习网络模型，得到第二预测结果，解决H.266VVC屏幕内容帧内编码复杂度高的问题。
-
公开(公告)号：CN110399886B
公开(公告)日：2022-09-30
申请号：CN201910635863.9
申请日：2019-07-15
Applicant: 华侨大学
Abstract: 本发明涉及一种屏幕图像JND模型构建方法。首先利用文本分割技术得到屏幕图像的文本区域；其次提取文本区域的边缘像素，将屏幕图像分为文本边缘区域和非文本边缘区域；然后利用边缘宽度和边缘对比度计算出边缘结构失真敏感度和边缘对比度掩蔽，得到文本边缘区域视觉掩蔽模型；接着计算出非文本边缘区域的亮度自适应和对比度掩蔽效应，得到非文本边缘区域视觉掩蔽模型；最后结合文本边缘区域和非文本边缘区域的视觉掩蔽模型得到屏幕图像JND模型。本发明充分考虑屏幕图像特点以及人眼对屏幕图像不同区域具有不同的视觉感知特性等因素，对屏幕图像的视觉冗余信息有较为准确的估计，可广泛地应用到屏幕图像技术领域。
-
Patent Agency Ranking
公开(公告)号：CN110390308A
公开(公告)日：2019-10-29
申请号：CN201910682423.9
申请日：2019-07-26
Applicant: 华侨大学
Abstract: 本发明涉及一种基于时空对抗生成网络的视频行为识别方法，包括：基于空域对抗生成网络提取输入的包含人类行为的视频的空间特征，基于时域对抗生成网络提取输入的包含人类行为的视频的时间特征，将空间对抗生成网络和时间对抗生成网络提取的两个维度特征进行拼接，得到时空融合特征，通过SVM支持向量机对融合后的特征向量进行分类，从而识别出视频行为。本发明基于时空生成对抗网络，充分考虑其学习特性、视频特点和人类动作特征，有效地结合人类行为特征提取视频中所包含的主要时空特征信息进行融合，基于时空特征信息之间的互补性获得更有表征能力的时空特征，从而对输入视频做出准确的行为识别。
-
公开(公告)号：CN114239730B
公开(公告)日：2024-08-20
申请号：CN202111564321.0
申请日：2021-12-20
Applicant: 华侨大学 , 厦门亿联网络技术股份有限公司
IPC: G06F16/901 , G06N5/025 , G06F40/30 , G06V10/44 , G06F16/33 , G06F16/56 , G06N3/045 , G06N3/0464
Abstract: 本发明公开了一种基于近邻排序关系的跨模态检索方法，包括：构建用于图像模态数据以及文本模态数据的深度语义特征提取的深度神经网络模型；将图像数据与文本数据对分别输入到所述深度神经网络模型中进行训练；结合近邻样本排序损失函数和语义相似度度量损失函数，计算语义对齐的损失值，通过训练缩小损失值，得到训练好的深度神经网络模型；通过训练好的深度神经网络模型提取到图像数据和文本数据间的公共语义表达，并将图像的深度语义特征与文本的深度语义特征转化到公共语义空间中，实现语义相似度的度量和检索。本发明方法能够有效地实现图像和文本两种不同模态数据间的跨模态检索。
-
公开(公告)号：CN110278444B
公开(公告)日：2022-11-01
申请号：CN201910645303.1
申请日：2019-07-17
Applicant: 华侨大学
IPC: H04N19/96 , H04N19/91 , H04N19/124 , H04N19/103 , H04N19/597 , H04N19/176 , H04N19/64
Abstract: 本发明公开了一种采用几何引导的稀疏表示三维点云压缩方法，属于视频编码领域，方法包括：采用八叉树对输入三维点云进行分块；采用图形变换的方法得到原始的冗余字典；利用块内点云的几何信息对原始的冗余字典进行降采样；对每个单元块进行去均值，随后对去均值的颜色信息在降采样字典上稀疏表示；利用基于八叉树的块均值预测算法对每个编码单元块的均值进行预测编码；采用Run‑Level的方法对量化后的稀疏系数进行编码；最后用算术编码器对所有已编码的参数进行熵编码。本发明利用稀疏表示，能够对庞大的三维点云数据进行高效压缩，极大地提高了三维点云的传输和存储效率。
-
公开(公告)号：CN110390308B
公开(公告)日：2022-09-30
申请号：CN201910682423.9
申请日：2019-07-26
Applicant: 华侨大学
IPC: G06V20/40 , G06V10/764 , G06V10/82 , G06N3/04 , G06N3/08
Abstract: 本发明涉及一种基于时空对抗生成网络的视频行为识别方法，包括：基于空域对抗生成网络提取输入的包含人类行为的视频的空间特征，基于时域对抗生成网络提取输入的包含人类行为的视频的时间特征，将空间对抗生成网络和时间对抗生成网络提取的两个维度特征进行拼接，得到时空融合特征，通过SVM支持向量机对融合后的特征向量进行分类，从而识别出视频行为。本发明基于时空生成对抗网络，充分考虑其学习特性、视频特点和人类动作特征，有效地结合人类行为特征提取视频中所包含的主要时空特征信息进行融合，基于时空特征信息之间的互补性获得更有表征能力的时空特征，从而对输入视频做出准确的行为识别。
-
公开(公告)号：CN113010720B
公开(公告)日：2022-06-07
申请号：CN202110208356.4
申请日：2021-02-24
Applicant: 华侨大学 , 厦门亿联网络技术股份有限公司 , 厦门云知芯智能科技有限公司 , 厦门华联电子股份有限公司
IPC: G06F16/583 , G06F16/33 , G06N3/04 , G06N3/08
Abstract: 本发明提供一种基于关键对象特征的深度监督跨模态检索方法，具体包括：首先构建特征学习模块抽取每个模态的深度特征，建立每个模态的注意力网络模型将各个模态抽取的特征分为关键特征和辅助特征，然后将每个模态抽取的关键特征和辅助特征进行融合作为最终的语义表征，最后建立三重损失函数：公共空间损失，标签空间损失和模态间不变性损失对模型进行训练学习。本发明提供的方法不仅能提高检索速度而且能够有效解决跨模态检索中精确度不高的问题。
-
-
-
-
-
-
-
-
-
Search Results
16
records
(took 0.02 seconds)
