基于特征金字塔网络的特征增强目标检测方法

    公开(公告)号:CN110084124B

    公开(公告)日:2021-07-09

    申请号:CN201910242976.2

    申请日:2019-03-28

    Applicant: 北京大学

    Abstract: 本发明公布了一种基于特征金字塔网络的图像目标检测方法,在送入目标检测器之前采用的骨干网络模型中增加自顶向下模块TDM、自底向上模块BUM和融合扩展模块FEM,从而形成新型的增强特征金字塔网络eFPN,能够同时增强对小尺寸物体、大尺寸物体和中等尺寸物体的检测性能,只引入很少的参数和计算量,更好地解决目标检测过程中多尺度目标的问题,显著增强单阶段网络和双阶段网络的性能,由此提高图像中多尺度目标物体的检测性能。

    对象检测方法及装置
    32.
    发明授权

    公开(公告)号:CN107729848B

    公开(公告)日:2019-10-25

    申请号:CN201710986773.5

    申请日:2017-10-20

    Applicant: 北京大学

    Abstract: 本发明公开了一种对象检测方法及装置,属于计算机技术领域。所述方法包括:将视频中未进行对象检测的视频帧中的第一个视频帧确定为测试帧;根据所述测试帧的图像特征,确定所述测试帧中的多个候选图像,以及确定各个候选图像的类别和置信度;对于所述多个候选图像中属于同一类别的至少一个候选图像,根据所述至少一个候选图像的置信度中最高的置信度,对所述至少一个候选图像的置信度进行调整;根据所述多个候选图像的调整后的置信度,从所述多个候选图像中获取多个包含有预设对象的目标图像。本发明提高了从该测试帧中获取目标图像时的准确度,避免了对该测试帧中较为模糊的目标图像的遗漏,进而提高了该视频整体的对象检测效果。

    一种漫画图像版面的识别方法和自动识别系统

    公开(公告)号:CN105528614B

    公开(公告)日:2018-10-19

    申请号:CN201510868065.2

    申请日:2015-12-02

    Applicant: 北京大学

    Abstract: 本发明公布了一种漫画图像版面的识别方法和系统,通过利用能量最小化模型和图切分优化方法,自动识别出组成图像分镜边框的多边形,根据识别得到的多边形之间的几何位置关系得到图像分镜之间的阅读顺序,从而完成漫画版面的识别;包括前景背景分割、轮廓检测、多边形拟合、直线段检测、查找分镜和阅读顺序检测过程;识别系统包括前景背景分割模块、轮廓检测模块、直线段检测模块、分镜查找模块和后处理模块。本发明根据识别出的多边形的位置关系判断分镜阅读顺序,可以有效地处理较为复杂的漫画版面,提升处理效率并丰富移动设备用户的阅读体验。

    一种基于稀疏矩阵的轻量化持续微调方法

    公开(公告)号:CN119782814A

    公开(公告)日:2025-04-08

    申请号:CN202411836817.2

    申请日:2024-12-13

    Applicant: 北京大学

    Abstract: 本发明公开一种基于稀疏矩阵的轻量化持续微调方法,属于计算机视觉技术领域。本发明使用稀疏矩阵和矩阵分解技术,对微调所需的稀疏矩阵进行低秩分解,构造共享权重矩阵和持续学习专业权重矩阵,进而完成对多个下游数据集的微调训练。本发明能够提高各种通用的大模型在下游数据集上的性能,且具有通用性,不依赖与特定的网络架构,适用于当前所有的视觉、语言和多模态大模型,方法简单方便,能够在保留大模型泛化和通用能力的基础上,有效提高在下游数据上的精度。

    基于领域专有模型与开放开集模型集成的自动驾驶感知方法

    公开(公告)号:CN119068456A

    公开(公告)日:2024-12-03

    申请号:CN202411089565.1

    申请日:2024-08-09

    Applicant: 北京大学

    Abstract: 本发明一种基于领域专有模型与开放开集模型集成的自动驾驶感知方法,属于计算机视觉技术领域。本发明针对多摄像机图像输入或者多摄像机图像与雷达点云的多模态输入,通过领域专有模型分支给出多项自动驾驶感知任务的领域专有预测结果;通过开放开集模型分支给出多项自动驾驶感知任务的开放开集预测结果;最终,通过集成模块对领域专有预测结果和开放开集预测结果进行融合,得到兼具领域专有和开放开集优势的预测结果。本发明通过组合已有基础模型,并设计2D到3D物体转换模块,得到针对非白名单物体的3D目标检测开集模型,解决了无法通过数据驱动方式直接训练得到3D任务大模型的问题;且直接对各神经网络模块进行组合,不会引入额外的训练代价。

    基于多信息路径聚合的特征金字塔神经网络架构搜索方法

    公开(公告)号:CN112699953B

    公开(公告)日:2024-03-19

    申请号:CN202110018395.8

    申请日:2021-01-07

    Applicant: 北京大学

    Abstract: 本发明公布了一种基于多信息路径聚合的特征金字塔神经网络架构搜索方法,构建多种基本信息路径,建立全连接的有向无环图超网,搜索得到由多种基本信息路径聚合而成的多路径聚合特征金字塔网络;将多路径聚合特征金字塔网络嵌入各种骨干网络之后,增强由骨干网络提取到的特征表达;实际应用包括但不限于物体检测,实例分割,语义分割,关键点检测;本发明能够实现高效、有效的搜索,将搜索到特征金字塔网络嵌入检测器的骨干网络与检测器头之间,检测器其他部分的网络结构不需要改变,方法简单方便,且物体检测精度高,同时还降低检测器的参数量和计算复杂度。

    一种基于神经网络架构搜索构建二值神经网络的方法

    公开(公告)号:CN116542301A

    公开(公告)日:2023-08-04

    申请号:CN202310510999.3

    申请日:2023-05-08

    Applicant: 北京大学

    Abstract: 本发明公开了一种基于神经网络架构搜索构建二值神经网络的方法,属于物体识别技术领域。该方法首先给出一个在图像识别任务上对二值神经网络友好的神经网络搜索空间模板,并提出一个通道数非递减策略来裁剪搜索空间;之后,基于该搜索空间生成对应二值神经网络超网,该超网包含众多候选二值子网,任一子网可以通过权重继承的方式从超网中获取对应参数;之后,提出了二值教师策略、二值转换模块和权重归一化模块三大部件,以优化二值神经网络超网的训练、增强搜索所得最终二值神经网络在图像识别等任务上的精度;最后,利用任意搜索算法,在二值神经网络超网上获取对应限制下的最优二值神经网络。本发明可以满足多种部署环境下的图像识别需求。

    基于混合多尺度时序可分离卷积操作的视频行为识别方法

    公开(公告)号:CN111259782B

    公开(公告)日:2022-02-11

    申请号:CN202010037026.9

    申请日:2020-01-14

    Applicant: 北京大学

    Abstract: 本发明公布了一种基于混合多尺度时序可分离卷积操作的视频行为识别方法,通过将原始视频抽取成图片序列,将图片序列分成多个间隔,每个间隔抽取一张图片组成图片子序列,对图片子序列进行特征提取,再对图片子序列特征进行分类,得到分类结果,作为视频内发生行为的类别;采用加入了混合多尺度时序可分离卷积的卷积神经网络模型作为学习器,提取图片子序列的语义特征,使用卷积神经网络模型中的全连接层对提取到的图片子序列特征进行分类。本发明方法用来解决视频中动作发生长短不同以及空间中不同语义特征具有不同时序变化尺度的问题,可应用于视频行为识别等方面的视频理解任务,能够高效地实现视频行为识别。

    基于拟反馈神经网络的多级骨干网络检测通用物体的方法

    公开(公告)号:CN109902800B

    公开(公告)日:2020-11-27

    申请号:CN201910058187.3

    申请日:2019-01-22

    Applicant: 北京大学

    Abstract: 本发明公布了一种基于多级骨干网络的通用物体的检测方法,建立基于拟反馈神经网络的多级骨干网络,利用多个骨干网络之间的连接,在深度神经网络中模拟反馈机制,从而增强通用物体特征的提取,提高物体检测的精度。本发明可应用于多种物体检测器,被应用的检测器的骨干网络采用本发明提供的多级骨干网络,而检测器其他部分的网络结构不需要改变,方法简单方便,且物体检测精度高。

Patent Agency Ranking