-
-
公开(公告)号:CN114817673A
公开(公告)日:2022-07-29
申请号:CN202210389983.7
申请日:2022-04-14
Applicant: 华侨大学
IPC: G06F16/908 , G06F16/906 , G06V10/764 , G06V10/80
Abstract: 本发明提出一种基于模态关系学习的跨模态检索方法,将数据集中相同语义的图像文本对以及所属的类标签输入到基于模态关系学习的跨模态检索网络模型中训练,直至模型收敛,从而获得网络模型M;利用S1中训练得到网络模型M分别提取待查询图像/文本和候选库中每个文本/图像的特征向量,从而计算待查询图像文本与候选库中文本/图像的相似度,根据相似度的大小进行降序排序,并返回相似度最高的检索结果;建立模态间和模态内的双重融合机制进行模态间关系学习,不仅在模态内融合多尺度的特征,还在模态间使用标签的关系信息直接对融合特征进行互补性关系学习,另外,加入模态间的注意力机制进行特征联合嵌入,进一步的提高了跨模态的检索性能。
-
公开(公告)号:CN113141504A
公开(公告)日:2021-07-20
申请号:CN202110235923.5
申请日:2021-03-03
Applicant: 华侨大学
IPC: H04N19/103 , H04N19/122
Abstract: 一种H.266/VVC屏幕内容编码快速模式选择方法,1)对当前输入的屏幕视频帧计算角点占比,根据角点占比将其划分为低对比度屏幕视频帧和高对比度屏幕视频帧;2)对于低对比度屏幕视频帧,根据当前CU是否有角点将当前编码CU分成前景CU和背景CU,再分别进行对应的模式检测;3)对于高对比度屏幕视频帧,检测当前CU是否有角点,如果未检测出角点,则当前CU为背景CU,转至步骤4),否则,当前CU为前景CU,转至步骤5);4)根据CU活动度和平均亮度差将背景CU分成屏幕内容背景CU和自然内容背景CU,再分别进行对应的模式检测;5)根据相邻CU是否使用IBC或PLT预测模式分别进行对应的模式检测。本发明的方法可大幅减少低对比度屏幕视频帧的编码时间,降低编码复杂度。
-
公开(公告)号:CN119762721A
公开(公告)日:2025-04-04
申请号:CN202510261796.4
申请日:2025-03-06
Applicant: 华侨大学 , 信泰(福建)科技有限公司 , 福建省万物智联科技有限公司
IPC: G06T19/20 , G06T9/00 , G06N3/0455 , G06N3/08
Abstract: 本发明公开了一种基于语义与几何引导的多阶段Mamba点云补全方法及装置,涉及点云处理领域,包括:构建基于语义与几何引导的多阶段Mamba点云补全模型并训练,得到经训练的多阶段Mamba点云补全模型;多排序策略Mamba解码器单元包括依次连接的若干个阶段的多排序策略Mamba解码器;获取待补全的不完整点云并输入到经训练的多阶段Mamba点云补全模型,不完整点云经过Transformer‑Mamba联合的点云局部特征编码单元,得到编码特征,编码特征输入到稀疏点云生成单元中,得到稀疏点云;稀疏点云输入到多排序策略Mamba解码器单元中,得到解码特征,解码特征经过点云上采样单元,得到预测的完整点云,克服现有Transformer编码器‑解码器结构二次方复杂度和局部细节丢失的问题。
-
公开(公告)号:CN118552409A
公开(公告)日:2024-08-27
申请号:CN202411017310.4
申请日:2024-07-29
Applicant: 华侨大学 , 信泰(福建)科技有限公司 , 福建省万物智联科技有限公司
IPC: G06T3/4053 , G06N3/0455 , G06N3/08 , G06T5/60
Abstract: 本发明公开了一种基于小波变换和Transformer的轻量级图像超分辨率方法及装置,涉及图像处理领域,包括:将待重建的低分辨率图像和上采样因子输入经训练的图像超分辨率模型,待重建的低分辨率图像输入第一卷积层,得到第一卷积层的输出特征并输入第一个基于小波变换的Transformer模块,经过若干个基于小波变换的Transformer模块的特征提取,将最后一个基于小波变换的Transformer模块的输出特征与第一卷积层的输出特征相加,得到第二相加结果,第二相加结果依次经过亚像素卷积层和第二卷积层,得到高分辨率重建图像,其中亚像素卷积层的尺度因子为上采样因子。本发明可解决现有Transformer方法计算复杂度过高的问题。
-
公开(公告)号:CN117726820A
公开(公告)日:2024-03-19
申请号:CN202311834754.2
申请日:2023-12-28
Applicant: 华侨大学
IPC: G06V10/26 , G06V10/44 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于MobileViT与UNet模型的图像分割方法及系统,应用图像识别领域,方法包括:将原始的RGB三通道图像大小进行调整,并对应调整标签图像大小;将调整后的RGB图像输入分割模型进行训练,获得训练好的模型参数;所述分割模型包括编码器和解码器;所述编码器用于对调整后的RGB图像进行特征提取;所述解码器的输入为所述编码器的输出,所述解码器输出与编码器部分相同空间分辨率的特征图;使用训练好的分割模型进行图像分割,输出与标签图像的大小一致的分割图像。本发明降低了模型的计算成本,提高了分割速度和分割精度,适用于实时和大规模应用。
-
公开(公告)号:CN116863509B
公开(公告)日:2024-02-20
申请号:CN202311119512.5
申请日:2023-09-01
Applicant: 华侨大学 , 福建环宇通信息科技股份公司
Abstract: 本发明运用改进的PolarMask进行人形轮廓检测和姿态识别的方法,采用改进的PolarMask模型,基于人形轮廓特点,进行人形轮廓极坐标建模的设计;然后构建改进的PolarMask模型作为人形轮廓分割模型,加入通道注意力机制模块,在原基于YOLOV7的特征金字塔网络中添加了跳跃连接,弥补了在特征融合过程中损失的细节信息,最后,采取基于弱标签的训练策略,用于训练出一个能够识别出包含人形位置信息的矩形框和人的姿态类型的初级人形轮廓分割模型;在正式训练过程中,使用预训练出的提前学习了人形轮廓的相关信息的预训练权重进行迁移学习,在对真实的人形轮廓进行学习的过程中,使得对预测出的人形轮廓不断收敛,准确地识别出人形轮廓和姿态类型。
-
公开(公告)号:CN117173609A
公开(公告)日:2023-12-05
申请号:CN202311112440.1
申请日:2023-08-31
Applicant: 华侨大学
IPC: G06V20/40 , G06V10/52 , G06V10/774 , G06V10/82 , G06N3/0464 , G06N3/048 , G06N3/08
Abstract: 本发明公开了一种基于多尺度特征和通道注意力的无参考屏幕视频质量评价方法及装置,该方法包括:获取视频中采用随机抽样方式抽取的视频帧;构建视频质量评价模型并进行训练,得到经训练的视频质量评价模型,视频质量评价模型包括依次连接的特征提取模块、通道注意力模块、视频时序特征提取模块和平均池化层,特征提取模块用于提取视频帧中的多尺度特征,通道注意力模块用于对多尺度特征进行特征加权,视频时序特征提取模块用于进行特征提取得到时空维度特征,并经过平均池化层计算视频对应的质量分数;将视频帧输入经训练的视频质量评价模型,得到视频的质量分数,具有较好的屏幕视频质量评价效果。
-
公开(公告)号:CN116342432B
公开(公告)日:2023-08-01
申请号:CN202310576207.2
申请日:2023-05-22
Applicant: 华侨大学
Abstract: 本发明公开了一种非标记细胞显微图像增强方法及系统,属于图像处理技术领域,包括如下步骤:S1、输入非标记细胞显微图像;S2、利用滑动窗口中心灰度增强算法,对非标记细胞显微图像位于滑动窗口中心的像素进行灰度值预增强;S3、重复滑动窗口,使得滑动窗口中心遍历非标记细胞显微图像,对每一个像素进行灰度值预增强,获得预增强的非标记细胞显微图像;S5、利用预增强的非标记细胞显微图像与经自适应权值约束的高斯多尺度加权图像作差分运算,得到增强后的非标记细胞显微图像。本发明具有较好的鲁棒性及普适性,且运算速度更快;本发明对特征图像的提取更精确,且能进一步提高非标记细胞显微图像的对比度。
-
公开(公告)号:CN112614142A
公开(公告)日:2021-04-06
申请号:CN202011560828.4
申请日:2020-12-25
Applicant: 华侨大学
Abstract: 本发明提供了机器学习技术领域的一种基于多通道图像融合的细胞弱标签制作方法及系统,方法包括:步骤S10、获取染色细胞核图像以及染色细胞质图像;步骤S20、对染色细胞核图像进行二值化处理得到连通细胞子图;步骤S30、设定一面积阈值,基于面积阈值从所述连通细胞子图分割出堆叠图像以及非堆叠图像;步骤S40、基于堆叠图像从染色细胞质图像中分割出相同位置及大小的细胞质子图,利用分水岭算法基于细胞质子图对堆叠图像进行分割,得到第一分割结果;步骤S50、利用分水岭算法对非堆叠图像进行分割,得到第二分割结果;步骤S60、合并第一分割结果与第二分割结果得到染色细胞核图像的弱标签。本发明的优点在于:极大的提升了细胞弱标签的置信度。
-
-
-
-
-
-
-
-
-