-
公开(公告)号:CN116405690A
公开(公告)日:2023-07-07
申请号:CN202310643124.0
申请日:2023-06-01
Applicant: 中南大学
IPC: H04N19/19 , H04N19/172 , H04N19/31
Abstract: 本发明公开了一种快速帧级自适应拉格朗日乘子优化方法、系统及设备,本方法通过计算目标编码视频序列的序列内容因子;计算每个P帧的传播权重,并根据每个P帧的传播权重和序列内容因子计算得到每个P帧的第一最优放缩系数;传播权重用于表征每个P帧被参考的程度;根据序列内容因子,计算每个I帧的第二最优放缩系数、每个B帧的第三最优放缩系数和每个b帧的第四最优放缩系数;根据第一最优放缩系数、第二最优放缩系数、第三最优放缩系数和第四最优放缩系数,计算目标编码视频序列中每一帧的最优拉格朗日乘子;最优拉格朗日乘子用于对目标编码视频序列中每一帧进行编码。本发明通过有效计算出最优拉格朗日乘子,能够提高编码质量和效率。
-
公开(公告)号:CN115866247A
公开(公告)日:2023-03-28
申请号:CN202310189730.X
申请日:2023-03-02
Applicant: 中南大学
IPC: H04N19/11 , H04N19/593
Abstract: 本发明公开了一种基于MAE预训练模型的视频编码帧内预测方法和系统,本方法通过根据获得的所有预测单元的最优预测模式完成每个编码单元的帧内预测;获取每个预测单元的最优预测模式包括步骤:根据预测单元相邻的已预测单元获得初始化候选列表,并获取已预测单元的重建信息;计算每种预测模式的第一率失真损失;通过训练好的MAE预测模型,获得预测图像,并根据预测图像计算获得第二率失真损失;根据第一率失真损失和第二率失真损失,更新加入训练好的MAE预测模型后的初始化候选列表;计算更新后的候选列表中每种预测模式的实际损失,并根据实际损失获得预测单元的最优预测模式。本发明能够提高视频编码帧内预测的准确度。
-
公开(公告)号:CN115830711A
公开(公告)日:2023-03-21
申请号:CN202211500177.9
申请日:2022-11-28
Applicant: 中南大学
IPC: G06V40/20 , G06V20/40 , G06V10/46 , G06V10/764 , G06V10/771 , G06V10/77 , G06V10/82 , G06N3/0442 , G06N3/045
Abstract: 本发明公开了基于深度学习的手语词汇识别方法、系统、设备及介质,本方法通过获取手语视频;将手语视频输入至训练好的人体姿态估计网络模型中进行第一特征提取,获得手语视频中的heatmap图;通过基于时序轻量的特征快速筛选模型进行第二特征提取,获得heatmap空间特征;将heatmap空间特征进行人体关键点信息的空间特征筛选,获得人体关键点空间特征;通过带有attention机制的双向LSTM时间序列模型进行特征学习,获得手语视频学习结果;通过全连接层和softmax层进行分类和编码,获得手语视频分类编码结果;根据手语视频分类编码结果,查询得到手语词汇识别结果。本发明能够提高手语识别的准确度。
-
公开(公告)号:CN113253890A
公开(公告)日:2021-08-13
申请号:CN202110361085.6
申请日:2021-04-02
Applicant: 中南大学
IPC: G06F3/0484 , G06K9/00 , G06K9/34 , G06K9/62
Abstract: 本发明公开了视频人像抠图方法、系统和介质,其中视频人像抠图方法包括:获取预训练模型,获取第一视频;对第一视频的每帧图片进行裁剪,对每帧图片的像素在空域进行下采样,以生成第二视频;对第二视频在时域进行跳跃采帧获得采样帧;将采样帧输入预训练模型以生成alpha遮罩,将alpha遮罩作为采样帧的相邻帧的alpha遮罩;根据alpha遮罩和alpha遮罩对第二视频的所有图片帧进行对齐裁剪,以获得去除背景后的第一视频。能够大幅提升视频抠图的速度和效率,而且还能有效保持人像的边缘细节,具有突出的特点,能够满足视频直播等场景的实时抠图需求,提升视频传输的速度,能够给用户带来较好的观看体验。
-
公开(公告)号:CN115866247B
公开(公告)日:2023-05-09
申请号:CN202310189730.X
申请日:2023-03-02
Applicant: 中南大学
IPC: H04N19/11 , H04N19/593
Abstract: 本发明公开了一种基于MAE预训练模型的视频编码帧内预测方法和系统,本方法通过根据获得的所有预测单元的最优预测模式完成每个编码单元的帧内预测;获取每个预测单元的最优预测模式包括步骤:根据预测单元相邻的已预测单元获得初始化候选列表,并获取已预测单元的重建信息;计算每种预测模式的第一率失真损失;通过训练好的MAE预测模型,获得预测图像,并根据预测图像计算获得第二率失真损失;根据第一率失真损失和第二率失真损失,更新加入训练好的MAE预测模型后的初始化候选列表;计算更新后的候选列表中每种预测模式的实际损失,并根据实际损失获得预测单元的最优预测模式。本发明能够提高视频编码帧内预测的准确度。
-
公开(公告)号:CN115100080A
公开(公告)日:2022-09-23
申请号:CN202211016081.5
申请日:2022-08-24
Applicant: 中南大学
IPC: G06T5/00 , G06T7/90 , H04N19/176 , H04N19/166
Abstract: 本发明公开了一种视频图像的FMO错误隐藏方法、系统、设备及介质,该方法将第一原始视频图像划分为多个宏块;计算每个宏块内部的像素复杂程度,并且计算每个宏块与周围宏块之间的像素相关性;根据每个宏块的像素复杂程度和像素相关性,计算获得目标矩阵;根据目标矩阵移动宏块,其中,每移动一次宏块,获得移动一次宏块对应的Mask矩阵;计算恢复图像和第二原始视频图像之间的峰值信噪比;选取出最优图像恢复质量和最优图像恢复质量对应的Mask矩阵;基于最优图像恢复质量对应的Mask矩阵,采用Masked Autoencoders模型进行图像重建,获得重建图像。本发明能够提高视频图像恢复质量。
-
公开(公告)号:CN116405690B
公开(公告)日:2023-09-01
申请号:CN202310643124.0
申请日:2023-06-01
Applicant: 中南大学
IPC: H04N19/19 , H04N19/172 , H04N19/31
Abstract: 本发明公开了一种快速帧级自适应拉格朗日乘子优化方法、系统及设备,本方法通过计算目标编码视频序列的序列内容因子;计算每个P帧的传播权重,并根据每个P帧的传播权重和序列内容因子计算得到每个P帧的第一最优放缩系数;传播权重用于表征每个P帧被参考的程度;根据序列内容因子,计算每个I帧的第二最优放缩系数、每个B帧的第三最优放缩系数和每个b帧的第四最优放缩系数;根据第一最优放缩系数、第二最优放缩系数、第三最优放缩系数和第四最优放缩系数,计算目标编码视频序列中每一帧的最优拉格朗日乘子;最优拉格朗日乘子用于对目标编码视频序列中每一帧进行编码。本发明通过有效计算出最优拉格朗日乘子,能够提高编码质量和效率。
-
公开(公告)号:CN115580723B
公开(公告)日:2023-06-09
申请号:CN202211575962.0
申请日:2022-12-09
Applicant: 中南大学
IPC: H04N19/109 , H04N19/176 , H04N19/196 , H04N19/503
Abstract: 本发明公开了一种屏幕内容图像的编码优化方法、系统、设备及介质,本方法将屏幕内容图像集合输入至编码器中进行编码,得到Lookahead模块输出的当前帧;通过如下任意一种条件对当前帧进行优化:若当前帧为I帧或I帧后的第一个P帧,调整当前帧的QP;若当前帧为I帧后连续的第n个P帧,调整n个P帧中每个P帧的QP;若当前帧为I帧后连续的第m个P帧且当前帧为帧行内刷新,按时序调整m个P帧中每个P帧中的若干行宏块的QP;本发明具有简单可行和计算量低的特点,主要利用帧间预测的前向参考的特点,加上屏幕内容场景长时间变化较小,提出了针对调整帧级或宏块级QP的优化条件,来改善文字等细节要求较高区域的主观质量。
-
公开(公告)号:CN115580723A
公开(公告)日:2023-01-06
申请号:CN202211575962.0
申请日:2022-12-09
Applicant: 中南大学
IPC: H04N19/109 , H04N19/176 , H04N19/196 , H04N19/503
Abstract: 本发明公开了一种屏幕内容图像的编码优化方法、系统、设备及介质,本方法将屏幕内容图像集合输入至编码器中进行编码,得到Lookahead模块输出的当前帧;通过如下任意一种条件对当前帧进行优化:若当前帧为I帧或I帧后的第一个P帧,调整当前帧的QP;若当前帧为I帧后连续的第n个P帧,调整n个P帧中每个P帧的QP;若当前帧为I帧后连续的第m个P帧且当前帧为帧行内刷新,按时序调整m个P帧中每个P帧中的若干行宏块的QP;本发明具有简单可行和计算量低的特点,主要利用帧间预测的前向参考的特点,加上屏幕内容场景长时间变化较小,提出了针对调整帧级或宏块级QP的优化条件,来改善文字等细节要求较高区域的主观质量。
-
公开(公告)号:CN115100080B
公开(公告)日:2022-12-30
申请号:CN202211016081.5
申请日:2022-08-24
Applicant: 中南大学
IPC: G06T5/00 , G06T7/90 , H04N19/176 , H04N19/166
Abstract: 本发明公开了一种视频图像的FMO错误隐藏方法、系统、设备及介质,该方法将第一原始视频图像划分为多个宏块;计算每个宏块内部的像素复杂程度,并且计算每个宏块与周围宏块之间的像素相关性;根据每个宏块的像素复杂程度和像素相关性,计算获得目标矩阵;根据目标矩阵移动宏块,其中,每移动一次宏块,获得移动一次宏块对应的Mask矩阵;计算恢复图像和第二原始视频图像之间的峰值信噪比;选取出最优图像恢复质量和最优图像恢复质量对应的Mask矩阵;基于最优图像恢复质量对应的Mask矩阵,采用Masked Autoencoders模型进行图像重建,获得重建图像。本发明能够提高视频图像恢复质量。
-
-
-
-
-
-
-
-
-