-
公开(公告)号:CN119691224A
公开(公告)日:2025-03-25
申请号:CN202411645309.6
申请日:2024-11-18
Applicant: 浙江工商大学
IPC: G06F16/783 , G06F16/78 , G06F16/75 , G06V10/764 , G06V10/82 , G06V10/44 , G06N3/0464 , G06N3/048 , G06N3/08 , G06N5/04
Abstract: 本发明公开了一种基于大语言模型优化的多模态视频问答方法及装置,本发明采用了CoVGT基础框架,分别对视频特征提取和文本输入进行了优化,并添加了视频问答模型输出优化器,该方法包括视频特征提取、文本特征提取、特征融合、初步答案预测、相关样例生成、Prompt文本生成和最终答案生成。本发明用GPT‑3类比中学习的特性,使用相关样例生成、Prompt文本生成和最终答案生成设计了答案优化器,与基础模型相比,模型准确率有较大的提升。
-
公开(公告)号:CN114820739A
公开(公告)日:2022-07-29
申请号:CN202210765686.8
申请日:2022-07-01
Applicant: 浙江工商大学 , 浙江宇视科技有限公司
IPC: G06T7/33 , G06T3/40 , G06T5/10 , G06V10/764 , G06V10/774
Abstract: 本发明公开了一种面向多光谱相机的图像快速配准方法及装置。首先,选定某个光谱波段图像作为参考图像,其余波段图像为待配准图像,对参考图像与待配准图像的鲁棒梯度特征图进行网格分块;然后,选取非平滑网格,用相位相关算法计算非平滑网格的偏移量,用网格偏移量与参数化坐标变换关系构建方程组,求解整幅图像的配准参数初值;最后,将配准参数初值送入到基于归一化总梯度的配准参数优化器中,对配准参数进行细调优化,将细调后的参数应用到待配准图像上,实现两幅不同波段图像之间的精细化快速配准。与同类配准方法相比,本发明方法具有更高的配准精度、更快的配准速度。
-
公开(公告)号:CN117593662A
公开(公告)日:2024-02-23
申请号:CN202311688845.X
申请日:2023-12-11
Applicant: 浙江工商大学
Abstract: 本发明公开了一种基于遥感图像军用飞机目标检测方法及装置,包括以下步骤:(1)获取遥感军用飞机的图像数据,对所有的图像数据标注飞机位置及其类别;(2)构建基于改进YOLOV5的目标检测模型,具体改进为:使用几何、颜色变换等数据增强策略扩充训练数据集的规模;在原模型的Conv结构上新增一条卷积分支,并在推理模型中将分支以及归一层和激活函数进行合并;在原模型中增加一个SO模块;(3)对目标检测模型进行迭代训练;(4)将待检测的图像或视频流数据输入训练好的目标检测模型中,得到军用飞机的预测结果。利用本发明,可以减少推理模型的计算量,在不影响检测精度的前提下提高检测速度。
-
公开(公告)号:CN113822801B
公开(公告)日:2023-08-18
申请号:CN202110718467.X
申请日:2021-06-28
Applicant: 浙江工商大学 , 浙江宇视科技有限公司
IPC: G06T3/40 , H04N19/42 , H04N19/593 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于多分支卷积神经网络的压缩视频超分辨率重建方法,对每一帧待处理的图像,以块处理的形式在间隔相近的帧内编码帧中搜索近似块,由近似块形成对应当前待处理图像的预测图像,分别以预测图像和待处理图像作为各个分支网络的输入,且融合这些分支网络的输出作为最终的高分辨率重建结果。本发明提供的采用多分支卷积神经网络的压缩视频超分辨率重建方法能够有效地利用视频序列所存在的帧间冗余信息,特别地,利用压缩视频中的帧内编码帧具有较好视觉质量的特点,从而使得重建的超分辨率图像具有更好的质量。
-
公开(公告)号:CN114820739B
公开(公告)日:2022-10-11
申请号:CN202210765686.8
申请日:2022-07-01
Applicant: 浙江工商大学 , 浙江宇视科技有限公司
IPC: G06T7/33 , G06T3/40 , G06T5/10 , G06V10/764 , G06V10/774
Abstract: 本发明公开了一种面向多光谱相机的图像快速配准方法及装置。首先,选定某个光谱波段图像作为参考图像,其余波段图像为待配准图像,对参考图像与待配准图像的鲁棒梯度特征图进行网格分块;然后,选取非平滑网格,用相位相关算法计算非平滑网格的偏移量,用网格偏移量与参数化坐标变换关系构建方程组,求解整幅图像的配准参数初值;最后,将配准参数初值送入到基于归一化总梯度的配准参数优化器中,对配准参数进行细调优化,将细调后的参数应用到待配准图像上,实现两幅不同波段图像之间的精细化快速配准。与同类配准方法相比,本发明方法具有更高的配准精度、更快的配准速度。
-
公开(公告)号:CN115408558A
公开(公告)日:2022-11-29
申请号:CN202211015314.X
申请日:2022-08-23
Applicant: 浙江工商大学 , 华数传媒网络有限公司 , 浙江宇视科技有限公司
IPC: G06F16/732 , G06F16/783 , G06V10/77 , G06V10/74 , G06V10/82 , G06F16/953 , G06N3/04 , G06N3/08
Abstract: 本发明公开了基于多尺度多示例相似度学习的长视频检索方法及装置,该方法获取视频和文本初步特征;使用从粗到细的编码方式,从视频的片段尺度和帧尺度提取不同时间粒度的信息;基于两种尺度的视频表示,使用片段尺度相似度学习分支筛选出和文本最相关的视频片段并得到片段尺度相似度;使用帧尺度相似度学习分支以筛选出的最相关视频片段作为向导来聚合视频特征来得到更加精细的视频信息,并与文本进行相似度计算后得到帧尺度相似度;利用公共空间学习算法来学习长视频和文本间的多尺度相似度,以端到端的方式训练模型,实现文本到长视频的检索。本发明利用了多尺度多示例学习的思想,能有效解决所提出的文本到长视频的检索任务。
-
公开(公告)号:CN114677450A
公开(公告)日:2022-06-28
申请号:CN202210273798.1
申请日:2022-03-19
Applicant: 浙江工商大学
Abstract: 本发明涉及低光照图像增强和复原的多媒体技术领域,特别是指一种结合图像增强与图像融合的暗图像复原迭代神经网络方法,尤其适用于光照不均匀的低光照图像。本发明通过基于超像素的成对非均匀低光照图像数据集的制作流程和基于深度学习的增强融合迭代网络框架用于低照度图像增强。本发明的有益效果是:通过探究真实环境光照的特点,合成了非均匀光照图像数据集,避免了人工数据集和实拍数据集存在的问题,并且针对之前的基于深度学习的低光照图像增强算法所遇到的问题,在深度学习模型中提出了相对应的策略,以先粗略增强后融合细化的方式,同时结合迭代增强的思想,将输入的低光照图像逐步增强和恢复其光照。
-
公开(公告)号:CN113822801A
公开(公告)日:2021-12-21
申请号:CN202110718467.X
申请日:2021-06-28
Applicant: 浙江工商大学 , 浙江宇视科技有限公司
IPC: G06T3/40 , H04N19/42 , H04N19/593 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于多分支卷积神经网络的压缩视频超分辨率重建方法,对每一帧待处理的图像,以块处理的形式在间隔相近的帧内编码帧中搜索近似块,由近似块形成对应当前待处理图像的预测图像,分别以预测图像和待处理图像作为各个分支网络的输入,且融合这些分支网络的输出作为最终的高分辨率重建结果。本发明提供的采用多分支卷积神经网络的压缩视频超分辨率重建方法能够有效地利用视频序列所存在的帧间冗余信息,特别地,利用压缩视频中的帧内编码帧具有较好视觉质量的特点,从而使得重建的超分辨率图像具有更好的质量。
-
-
-
-
-
-
-