一种具有语义引导的高效场景文本图像超分辨率方法

    公开(公告)号:CN118608385A

    公开(公告)日:2024-09-06

    申请号:CN202410702281.9

    申请日:2024-06-02

    Applicant: 复旦大学

    Abstract: 本发明属于计算机图像处理领域,具体为一种具有语义引导的高效场景文本图像超分辨率方法。本发明方法包括:将图像输入CNN编码器和特征融合模块,准确提取图像的视觉特征,将视觉特征与高级指导信息进行融合,输入到顺序残差块,以像素重组的方式生成超分辨率图像;其中:高级指导信息是通过先将图像输入文本识别模型并进行自注意力计算,得到语义特征,再将语义特征输入到由自注意力和交叉注意力机制组成的视觉‑语义对齐模块中通过交叉注意力机制进行对齐得到;本发明提出的方法能够高效重建超分辨率场景文本图像,并且模型以更少的计算成本实现了优异的性能。

    一种基于节点通信和设备协同的目标跨域追踪方法

    公开(公告)号:CN114785983A

    公开(公告)日:2022-07-22

    申请号:CN202210214463.2

    申请日:2022-03-07

    Abstract: 本发明公开了一种基于节点通信和设备协同的目标跨域追踪方法。其包括以下步骤:步骤1:根据监控节点的实际位置关系,衡量监控节点邻接关系,计算障碍物导致的视野盲区,转换目标探测方位区间,构建节点拓扑图和通信路由表;步骤2:根据通信路由表与目标来向的节点交流目标方位、轨迹和外观特征信息,缩小目标跨域检索范围,通过建立目标监视权机制,在保持目标处于视野范围的前提下,为目标合理分配监控资源,实现多节点协同的目标追踪。本发明方法具有目标跨域追踪速度快,准确率高的优点。

    基于深度学习的跨模态主题相关性建模方法

    公开(公告)号:CN105760507B

    公开(公告)日:2019-05-03

    申请号:CN201610099438.9

    申请日:2016-02-23

    Applicant: 复旦大学

    Abstract: 本发明属于跨媒体相关性学习技术领域,具体为基于深度学习的跨模态主题相关性建模方法。本发明包括两个主要算法:基于深度词汇的多模态文档表示,融合跨模态主题相关性学习的关系主题模型建模。本发明利用深度学习技术来构造深度语义词汇和深度视觉词汇来分别描述多模态文档中的语义描述部分和图像部分。基于这样的多模态文档表示,通过构建跨模态关系主题模型来对整个多模态文档集合进行建模,从而对多模态文档的生成过程和不同模态之间的关联进行描述。本方法准确性高,适应性强。这对于在大规模多模态文档(文本加图像)基础上,考虑多模态语义信息而进行高效跨媒体信息检索具有重要的意义,能够提高检索相关性,增强用户体验,在跨媒体信息检索领域具有广泛的应用价值。

    一种基于分块的有遮挡人脸识别算法

    公开(公告)号:CN108805040A

    公开(公告)日:2018-11-13

    申请号:CN201810507166.0

    申请日:2018-05-24

    Applicant: 复旦大学

    CPC classification number: G06K9/00228 G06K9/00268 G06K9/00288 G06K9/6256

    Abstract: 本发明属于图像处理的技术领域,具体为一种基于分块的有遮挡人脸识别算法。本发明在离线训练阶段,首先进行人脸检测、人脸几何归一化、光照归一化等图像预处理操作,然后基于预处理的结果,从人脸图像中提取左眼、右眼、鼻子、嘴巴四个区块,接着训练各区块的网络模型,并提取对应的特征,然后训练各区块的遮挡判别网络获取遮挡判别结果,最后根据各区块的遮挡判别结果融合其特征,并构建K‑D树特征索引;在线识别阶段,采用与离线训练阶段相同的方法提取得到人脸图像特征,然后通过K‑D树的索引方式进行特征查询,从而得到识别的结果。实验结果表明,本发明算法具有更好的准确率。

    一种基于深度学习的视频近似拷贝检索算法

    公开(公告)号:CN108763295A

    公开(公告)日:2018-11-06

    申请号:CN201810347069.X

    申请日:2018-04-18

    Applicant: 复旦大学

    Abstract: 本发明属于图像与视频处理技术领域,具体为一种基于深度学习的视频近似拷贝检索算法。本发明算法分为两个阶段:离线构建索引阶段和在线检索阶段。在离线构建索引阶段,使用深度卷积神经网络提取采样帧的特征值,然后采用k‑d树为视频库内的所有视频采样帧集建立索引;在在线检索阶段,采用同样的方法提取查询视频的采样帧的特征值,并用近似最近邻搜索的方法在索引库中找出与其相似的候选视频,最后计算出所有候选视频与查询视频的相似度,并将相似度由高到低排序后给出近似拷贝检索的结果。本发明可大幅加速整个检索过程,同时可得到候选视频与查询视频的相似可能性以供后续步骤使用,进一步提高了检索速度。

    一种分布式大规模视频流处理系统

    公开(公告)号:CN106982356A

    公开(公告)日:2017-07-25

    申请号:CN201710226293.9

    申请日:2017-04-08

    Applicant: 复旦大学

    Abstract: 本发明属于数字图像处理、分布式计算技术领域,具体为一种分布式大规模视频流处理系统。本发明建立了一种分布式大规模视频流处理的模型,并根据此模型提出分布式视频流处理系统。本发明用多机集群的方式对大规模视频流协同处理,用多台机器进行视频流采集,提高吞吐量;主要提供两种接口,一种针对视频不可分割(帧与帧之间前后依赖)的情形,如行人跟踪等,另一种是视频可以分割的情形,如行人检测等。另外,本发明提供了比较科学合理的资源监控方法(主要是CPU资源和内存资源),对于集群的资源扩展提供了依据。此外,引入CPU时间占用率,提出CPU时间占用率来衡量集群的利用率,更加直观和科学。

    一种基于深度学习的敏感图像识别方法

    公开(公告)号:CN106682694A

    公开(公告)日:2017-05-17

    申请号:CN201611223417.X

    申请日:2016-12-27

    Applicant: 复旦大学

    Abstract: 本发明属于数字图像处理技术领域,具体为一种基于深度学习的敏感图像识别方法。本发明主要包括如下步骤:对敏感图像进行预处理;将预处理后的全部敏感图像数据库分为训练集和测试集两部分,其中训练集又分为train和validation两个部分,比例约为5:1;将训练集图像用于深度卷积神经网络训练,训练出来的是卷积神经网络各层之间的参数;训练完成后,用训练的模型初始化测试用的神经网络,测试用的神经网络和训练的网络结构相同;将测试用的敏感图像输入到初始化后的深度神经网络,进行识别测试,实现敏感图像的识别;本发明不需要人为参与和调整,能够完成特征的提取和分类的功能,提供了一种可靠的高性能的基于深度学习的敏感图像识别技术。

    基于深度学习的手绘草图图像检索方法

    公开(公告)号:CN106126581A

    公开(公告)日:2016-11-16

    申请号:CN201610442187.X

    申请日:2016-06-20

    Applicant: 复旦大学

    CPC classification number: G06F16/583 G06K9/6223

    Abstract: 本发明属于多媒体信息检索技术领域,具体为基于深度学习的手绘草图图像检索方法。本发明利用边缘轮廓检测技术和非极大值抑制技术实现彩色图像到类草图图像的转换,然后利用深度学习技术来构造查询草图和类草图的深度特征区分性特征表示,这种深度特征融合了图像的高层语义特征和底层视觉特征;这种深度特征在草图检索中表现得更有区分性。通过深度挖掘初次检索结果的视觉信息,抑制检索结果排序靠前的不相关图像,返回更相关的结果给用户。本方法准确性高,适应性强。对于在大规模图像数据基础上,考虑草图的语义信息而进行高效的图像检索具有重要意义,能够减小手绘草图的模糊性的影响,提高检索相关性,增强用户体验,在多媒体图像检索领域具有广泛的应用价值。

Patent Agency Ranking