一种基于模态关系学习的跨模态检索方法

    公开(公告)号:CN114817673A

    公开(公告)日:2022-07-29

    申请号:CN202210389983.7

    申请日:2022-04-14

    Applicant: 华侨大学

    Abstract: 本发明提出一种基于模态关系学习的跨模态检索方法,将数据集中相同语义的图像文本对以及所属的类标签输入到基于模态关系学习的跨模态检索网络模型中训练,直至模型收敛,从而获得网络模型M;利用S1中训练得到网络模型M分别提取待查询图像/文本和候选库中每个文本/图像的特征向量,从而计算待查询图像文本与候选库中文本/图像的相似度,根据相似度的大小进行降序排序,并返回相似度最高的检索结果;建立模态间和模态内的双重融合机制进行模态间关系学习,不仅在模态内融合多尺度的特征,还在模态间使用标签的关系信息直接对融合特征进行互补性关系学习,另外,加入模态间的注意力机制进行特征联合嵌入,进一步的提高了跨模态的检索性能。

    一种H.266/VVC屏幕内容编码快速模式选择方法

    公开(公告)号:CN113141504A

    公开(公告)日:2021-07-20

    申请号:CN202110235923.5

    申请日:2021-03-03

    Applicant: 华侨大学

    Abstract: 一种H.266/VVC屏幕内容编码快速模式选择方法,1)对当前输入的屏幕视频帧计算角点占比,根据角点占比将其划分为低对比度屏幕视频帧和高对比度屏幕视频帧;2)对于低对比度屏幕视频帧,根据当前CU是否有角点将当前编码CU分成前景CU和背景CU,再分别进行对应的模式检测;3)对于高对比度屏幕视频帧,检测当前CU是否有角点,如果未检测出角点,则当前CU为背景CU,转至步骤4),否则,当前CU为前景CU,转至步骤5);4)根据CU活动度和平均亮度差将背景CU分成屏幕内容背景CU和自然内容背景CU,再分别进行对应的模式检测;5)根据相邻CU是否使用IBC或PLT预测模式分别进行对应的模式检测。本发明的方法可大幅减少低对比度屏幕视频帧的编码时间,降低编码复杂度。

    一种基于MobileViT与UNet模型的图像分割方法及系统

    公开(公告)号:CN117726820A

    公开(公告)日:2024-03-19

    申请号:CN202311834754.2

    申请日:2023-12-28

    Applicant: 华侨大学

    Abstract: 本发明公开了一种基于MobileViT与UNet模型的图像分割方法及系统,应用图像识别领域,方法包括:将原始的RGB三通道图像大小进行调整,并对应调整标签图像大小;将调整后的RGB图像输入分割模型进行训练,获得训练好的模型参数;所述分割模型包括编码器和解码器;所述编码器用于对调整后的RGB图像进行特征提取;所述解码器的输入为所述编码器的输出,所述解码器输出与编码器部分相同空间分辨率的特征图;使用训练好的分割模型进行图像分割,输出与标签图像的大小一致的分割图像。本发明降低了模型的计算成本,提高了分割速度和分割精度,适用于实时和大规模应用。

    基于多尺度特征和通道注意力的无参考屏幕视频质量评价方法及装置

    公开(公告)号:CN117173609A

    公开(公告)日:2023-12-05

    申请号:CN202311112440.1

    申请日:2023-08-31

    Applicant: 华侨大学

    Abstract: 本发明公开了一种基于多尺度特征和通道注意力的无参考屏幕视频质量评价方法及装置,该方法包括:获取视频中采用随机抽样方式抽取的视频帧;构建视频质量评价模型并进行训练,得到经训练的视频质量评价模型,视频质量评价模型包括依次连接的特征提取模块、通道注意力模块、视频时序特征提取模块和平均池化层,特征提取模块用于提取视频帧中的多尺度特征,通道注意力模块用于对多尺度特征进行特征加权,视频时序特征提取模块用于进行特征提取得到时空维度特征,并经过平均池化层计算视频对应的质量分数;将视频帧输入经训练的视频质量评价模型,得到视频的质量分数,具有较好的屏幕视频质量评价效果。

    一种非标记细胞显微图像增强方法及系统

    公开(公告)号:CN116342432B

    公开(公告)日:2023-08-01

    申请号:CN202310576207.2

    申请日:2023-05-22

    Applicant: 华侨大学

    Abstract: 本发明公开了一种非标记细胞显微图像增强方法及系统,属于图像处理技术领域,包括如下步骤:S1、输入非标记细胞显微图像;S2、利用滑动窗口中心灰度增强算法,对非标记细胞显微图像位于滑动窗口中心的像素进行灰度值预增强;S3、重复滑动窗口,使得滑动窗口中心遍历非标记细胞显微图像,对每一个像素进行灰度值预增强,获得预增强的非标记细胞显微图像;S5、利用预增强的非标记细胞显微图像与经自适应权值约束的高斯多尺度加权图像作差分运算,得到增强后的非标记细胞显微图像。本发明具有较好的鲁棒性及普适性,且运算速度更快;本发明对特征图像的提取更精确,且能进一步提高非标记细胞显微图像的对比度。

    一种基于多通道图像融合的细胞弱标签制作方法及系统

    公开(公告)号:CN112614142A

    公开(公告)日:2021-04-06

    申请号:CN202011560828.4

    申请日:2020-12-25

    Applicant: 华侨大学

    Inventor: 温廷羲 潘婷

    Abstract: 本发明提供了机器学习技术领域的一种基于多通道图像融合的细胞弱标签制作方法及系统,方法包括:步骤S10、获取染色细胞核图像以及染色细胞质图像;步骤S20、对染色细胞核图像进行二值化处理得到连通细胞子图;步骤S30、设定一面积阈值,基于面积阈值从所述连通细胞子图分割出堆叠图像以及非堆叠图像;步骤S40、基于堆叠图像从染色细胞质图像中分割出相同位置及大小的细胞质子图,利用分水岭算法基于细胞质子图对堆叠图像进行分割,得到第一分割结果;步骤S50、利用分水岭算法对非堆叠图像进行分割,得到第二分割结果;步骤S60、合并第一分割结果与第二分割结果得到染色细胞核图像的弱标签。本发明的优点在于:极大的提升了细胞弱标签的置信度。

Patent Agency Ranking