公开(公告)号：CN119831848A

公开(公告)日：2025-04-15

申请号：CN202510149404.5

申请日：2025-02-11

Applicant: 浙江大学 ,  浙江大学金华研究院

Inventor： 丁勇 ,  黄函 ,  汤峻 ,  牛乐乐 ,  何越 ,  王宏宇

IPC: G06T3/4076 ,  G06T3/4046 ,  G06N3/044 ,  G06V20/40 ,  G06V10/80 ,  G06V10/82

Abstract: 本发明公开了一种多尺度空间优化视频超分辨率方法，属于图像超分辨率技术领域。所述方法包括：获取低分辨率的视频序列数据；通过网络提取视频序列的浅层特征图；通过自适应多尺度特征提取的方式提取视频序列的多尺度特征图；将多尺度特征图引入循环神经网络中，进行空间优化的对齐融合，即单帧超分结果的特征图，遍历所有视频帧，得到的单方向的超分结果；反向遍历所有视频帧，得到的反方向的超分结果；对双向超分结果进行整合，输出最终的超分结果，重建图像后得到高分辨率的视频序列数据。本发明简单而高效地从视频中提取出多尺度的细节，以此来增强视频超分辨率技术在恢复场景细节方面的性能，提高了高分辨率视频质量。

公开(公告)号：CN113946710B

公开(公告)日：2024-06-11

申请号：CN202111186741.X

申请日：2021-10-12

Applicant: 浙江大学

Inventor： 丁勇 ,  朱子奇 ,  徐晓舒 ,  汤峻

IPC: G06F16/73 ,  G06F16/783 ,  G06V20/40 ,  G06V10/70 ,  G06N20/00

Abstract: 本发明公开了一种基于多模态与自监督表征学习的视频检索方法，应用于视频检索领域。给定一个搜索视频，可以在千万级视频库中找到画面相似或事件相似的视频。该技术可以为短视频平台的新闻事件聚合、版权保护侵权检索、多模态检索等问题的解决方案。本发明主要包括如下步骤：1.通过无标注图片数据和图片‑文本对数据构建监督数据集，利用监督数据集训练图片特征提取网络。2.通过对视频帧进行特征提取并计算领域密度的方法构建特征频次库。3.提取视频表征并构建视频库，利用近邻检索的方法进行视频检索。基于本发明所提出方法的基于多模态与自监督表征学习的视频检索方法在测试数据集中具有较高的准确率和召回率，具有良好的鲁棒性。

公开(公告)号：CN117333363A

公开(公告)日：2024-01-02

申请号：CN202311250785.3

申请日：2023-09-26

Applicant: 浙江大学

Inventor： 丁勇 ,  刘毅飞 ,  刘郑学 ,  汤峻 ,  何乐年

IPC: G06T3/40 ,  G06N3/0464 ,  G06N3/044 ,  G06N3/045 ,  G06N3/084 ,  G06N3/048 ,  G06V10/44 ,  G06V10/80

Abstract: 本发明公开了一种基于长程‑短程结合的视频超分辨率方法，属于视频超分辨率技术领域。包括：获取低分辨视频并逐帧进行图像增强并提取每帧图片浅层特征；根据每帧图片及相邻帧浅层特征，计算帧间运动补偿信息；依次将每帧图片视为目标帧，将相邻帧浅层特征向目标帧浅层特征对齐；将目标帧浅层特征和相邻帧对齐后浅层特征进行融合，得到目标帧短程特征；根据目标帧及相邻帧短程特征，采用基于循环神经网络的长程特征提取模块生成目标帧长程特征；遍历全部目标帧，将低分辨率视频每帧图片浅层特征、短程特征、长程特征进行融合得到重建特征，对重建特征进行上采样插值以及通道维度转换生成高分辨率视频。本发明可获得细节丰富的高质量输出。

公开(公告)号：CN113724354A

公开(公告)日：2021-11-30

申请号：CN202111037335.7

申请日：2021-09-06

Applicant: 浙江大学

Inventor： 丁勇 ,  阮翊婷 ,  夏靖雯 ,  汤峻

IPC: G06T11/00 ,  G06T11/40 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于参考图颜色风格的灰度图像着色方法，可以作为线稿及黑白图像上色这一类问题的解决方案。本发明具体实施包括如下步骤：1.拟定上色图像类别库，根据类别收集彩色图像数据集，并对其进行线稿提取或灰度化，以及提取其颜色直方图信息。2.将彩色图像、线稿或灰度图像、颜色直方图信息作为训练集，输入网络中训练，得到对应该类别的着色模型。3.将待上色图像重新输入网络，使用步骤2中得到的模型进行图像着色。4.评估着色结果。本发明所提出的基于参考图颜色风格的灰度图像着色方法可以解决各种类别的线稿、黑白图像着色问题，并且在实践中证明着色效果良好。

公开(公告)号：CN117395436A

公开(公告)日：2024-01-12

申请号：CN202311325114.9

申请日：2023-10-13

Applicant: 浙江大学

Inventor： 丁勇 ,  刘郑学 ,  牛乐乐 ,  汤峻

IPC: H04N19/436 ,  H04N19/43 ,  H04N19/176

Abstract: 本发明公开了一种基于并行化计算设备加速宏块分析的视频编码方法，属于并行加速视频编码领域。包括：对输入视频数据进行帧分割和宏块划分；基于得到的帧与宏块信息，利用并行化计算设备，对每个宏块进行并行分析，以宏块级别并行完成帧间运动估计，得到每个宏块的运动矢量；根据生成的每个宏块的运动矢量形成的运动矢量组，进行重建编码，输出编码后的视频文件。本发明在加速视频编码的同时兼顾了视频编码的质量。相较于未进行并行优化的编码流程，本发明所提出的并行优化方式提高了编码速度、几乎未引入额外的并行编码信息损失，可以提高视频编码速度、保持视频编码质量、兼容多种编码标准以及节省计算资源。

公开(公告)号：CN112784800B

公开(公告)日：2022-05-10

申请号：CN202110144231.X

申请日：2021-02-02

Applicant: 浙江大学

Inventor： 丁勇 ,  戴悦 ,  刘郑学 ,  陆晨燕 ,  汤峻

IPC: G06V40/16 ,  G06V10/772 ,  G06V10/774 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于神经网络和形状约束的人脸关键点检测方法，属于人脸识别和分析领域，用来解决人脸关键点检测的问题，主要应用于自动人脸识别、表情分析、三维人脸重建及三维动画等人脸相关问题。本发明主要包括如下步骤：首先，根据训练集标注的人脸关键点构建形状字典；接着，利用神经网络前向预测出关键点的热图；然后，根据热图构建初始形状特征和权重矩阵；最后，重建形状特征。本发明可以实现遮挡情况下的人脸关键点检测，计算速度快，计算复杂度低，检测精度高。

公开(公告)号：CN112580515B

公开(公告)日：2022-05-10

申请号：CN202011520023.7

申请日：2020-12-21

Applicant: 浙江大学

Inventor： 丁勇 ,  戴悦 ,  陈易男 ,  朱子奇 ,  阮翊婷 ,  汤峻

IPC: G06V40/16 ,  G06V10/774 ,  G06V10/82 ,  G06N3/04

Abstract: 本发明公开了一种基于高斯热图回归的轻量级人脸关键点检测方法，用来解决人脸关键点检测的问题，主要应用于自动人脸识别、表情分析、三维人脸重建及三维动画等人脸相关问题。本发明主要包括如下步骤：首先利用关键点坐标生成高斯热图；接着在训练阶段，基于高斯热图回归得到卷积神经网络参数；然后，在预测阶段，前向预测出关键点的高斯热图；最后，由关键点热图得到关键点坐标。本发明可以实现轻量级模型下的人脸关键点检测，计算速度快，计算复杂度低，检测精度高。

公开(公告)号：CN113946710A

公开(公告)日：2022-01-18

申请号：CN202111186741.X

申请日：2021-10-12

Applicant: 浙江大学

Inventor： 丁勇 ,  朱子奇 ,  徐晓舒 ,  汤峻

IPC: G06F16/73 ,  G06F16/783 ,  G06V20/40 ,  G06V10/70 ,  G06N20/00

Abstract: 本发明公开了一种基于多模态与自监督表征学习的视频检索方法，应用于视频检索领域。给定一个搜索视频，可以在千万级视频库中找到画面相似或事件相似的视频。该技术可以为短视频平台的新闻事件聚合、版权保护侵权检索、多模态检索等问题的解决方案。本发明主要包括如下步骤：1.通过无标注图片数据和图片‑文本对数据构建监督数据集，利用监督数据集训练图片特征提取网络。2.通过对视频帧进行特征提取并计算领域密度的方法构建特征频次库。3.提取视频表征并构建视频库，利用近邻检索的方法进行视频检索。基于本发明所提出方法的基于多模态与自监督表征学习的视频检索方法在测试数据集中具有较高的准确率和召回率，具有良好的鲁棒性。

公开(公告)号：CN112784800A

公开(公告)日：2021-05-11

申请号：CN202110144231.X

申请日：2021-02-02

Applicant: 浙江大学

Inventor： 丁勇 ,  戴悦 ,  刘郑学 ,  陆晨燕 ,  汤峻

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于神经网络和形状约束的人脸关键点检测方法，属于人脸识别和分析领域，用来解决人脸关键点检测的问题，主要应用于自动人脸识别、表情分析、三维人脸重建及三维动画等人脸相关问题。本发明主要包括如下步骤：首先，根据训练集标注的人脸关键点构建形状字典；接着，利用神经网络前向预测出关键点的热图；然后，根据热图构建初始形状特征和权重矩阵；最后，重建形状特征。本发明可以实现遮挡情况下的人脸关键点检测，计算速度快，计算复杂度低，检测精度高。

公开(公告)号：CN119559053A

公开(公告)日：2025-03-04

申请号：CN202411712249.5

申请日：2024-11-27

Applicant: 浙江大学

Inventor： 丁勇 ,  牛乐乐 ,  汤峻 ,  刘琳琳

IPC: G06T3/4053 ,  G06T3/4046 ,  G06V20/40 ,  G06V10/62 ,  G06V10/80 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0464

Abstract: 本发明公开了一种基于条状和全局时空衰减注意力的视频超分方法和系统，属于视频超分辨率技术领域。本发明包括以下步骤：1.提取原始视频帧图像增强后的空间特征并上采样；2.在上采样空间特征上计算空间条状注意力和时间条状注意力；3.对空间条状和时间条状注意力分别使用深度可分离卷积与残差结构进行处理，分别得到最终的注意力输出，对两种注意力输出进行融合处理，得到融合特征；4.计算空间特征图的全局时空衰减注意力，将空间特征、融合特征与全局时空衰减注意力做融合，得到最终的高分辨率的重建结果。基于本发明提出的视频超分辨率方法可以在常用数据集上提升PSNR/SSIM以及恢复出尖锐的细节信息。