-
公开(公告)号:CN114187369A
公开(公告)日:2022-03-15
申请号:CN202111420160.8
申请日:2021-11-26
Applicant: 南京信息工程大学
IPC: G06T9/00
Abstract: 本发明公开了一种基于视频压缩技术的气象预报数据压缩方法,属于数据压缩技术领域。步骤包括:S1、获取原始气象预报数据,提取出时间片及气象要素数据;S2、对气象预报数据进行预处理:将同一时间各个站点同一气象要素数据映射到区间[0~1023*n],n为映射的通道数;S3、气象数据三维格点重构:将气象预报数据按三维格点数据进行存储,对应图片三个色彩通道数据格式形成气象数据图;S4、利用视频压缩工具对气象预报数据进行10bit位深、色度亮度比为4:4:4的无损压缩编码;S5、利用视频压缩工具对S4产生的编码文件进行气象数据解码,并进行气象预测数据逆变换。本发明减少了气象预报数据的存储空间,最终压缩比可达到10:1。
-
公开(公告)号:CN119006944B
公开(公告)日:2025-02-07
申请号:CN202411490578.X
申请日:2024-10-24
Applicant: 南京信息工程大学
IPC: G06V10/764 , G06V10/80 , G06V10/40 , G06V10/26
Abstract: 本发明公开了一种基于多模态对比学习的无标签点云分类方法,包括如下步骤:获取目标域点云;将目标域点云输入至训练好的点云分类模型,得到目标域点云的分类结果;其中,点云分类模型的训练步骤如下:获取目标域点云和源域点云;对源域点云和目标域点云分别进行特征处理,得到源域增强特征集和目标域增强特征集;其中,特征处理包括数据增强、图像模态生成、特征提取和特征增强;根据目标域增强特征集和源域增强特征集,通过最小化总损失函数对预构建的点云分类模型进行训练,得到训练好的点云分类模型。通过引入图像模态来学习模态互补知识,同时通过数据增强和特征增强提高了对比学习的性能,从而提高了点云分类方法的分类精确性。
-
公开(公告)号:CN118660186B
公开(公告)日:2024-11-19
申请号:CN202411124016.3
申请日:2024-08-16
Applicant: 南京信息工程大学
IPC: H04N21/2343 , H04N21/4402 , H04N23/698 , G06T3/4053 , G06T3/4046 , G06V20/40 , G06V10/44 , G06V10/82 , G06V10/80 , G06N3/0464 , G06N3/0455
Abstract: 本发明公开了基于神经和多尺度特征融合的360度视频传输方法及系统,涉及视频流传输技术领域,包括:获取360度视频,对360度视频进行预处理,得到预处理后的360度视频,对预处理后的360度视频输入至预先建立的时空下采样模型内,输出得到多尺度特征和低分辨率视频帧;将低分辨率视频帧进行掩码编码,得到处理后的掩码帧,将掩码帧进行重构,得到重建的LR帧;对重建的LR帧和多尺度特征输入至预先建立的上采样超分辨率模型内,输出得到优化后的超分辨率视频帧,能显著减少端到端传输过程中的数据冗余,实现理想的视觉质量。
-
公开(公告)号:CN116957977A
公开(公告)日:2023-10-27
申请号:CN202310937678.1
申请日:2023-07-28
Applicant: 南京信息工程大学
IPC: G06T5/00 , G06T3/40 , G06T15/04 , G06V10/764 , G06V10/774 , G06N3/0464 , G06N3/0455 , G06N3/048 , G06N3/08
Abstract: 本发明公开了一种图像处理技术领域的基于立方体投影格式的双生成器全景图像修复方法,旨在解决现有技术中图像修复后会有伪影、失真和过度平滑等问题,其包括获取待修复全景图像,并将其格式转换为立方体贴图投影格式;将待修复全景图像的前、后、左、右四个面进行拼接,得待修复矩形图像;利用四面生成器对待修复矩形图像进行修复,得重构矩形图像;将重构矩形图像与上、下两面按通道拼接,得多通道的待修复图像;利用六面生成器对多通道的待修复图像进行修复,得重构全景图像;将重构全景图像的格式转换为等距柱状投影格式,即为修复后的全景图像。本发明在保证修复区域的内容合理的同时,减少修复区域的伪影、失真和过度平滑的现象出现。
-
公开(公告)号:CN114125269B
公开(公告)日:2023-05-23
申请号:CN202111269335.X
申请日:2021-10-29
Applicant: 南京信息工程大学
IPC: H04N23/698 , H04N23/695 , G06T5/50 , G06T5/00 , G06T3/40
Abstract: 本发明公开了一种基于深度学习的手机实时全景拍摄方法,包括:手机前后摄像头同时拍摄得到一组前后摄图像;手机旋转一定角度后再次同时拍摄;利用基于Brisk和SIFT的拼接算法,将手机旋转前后拍摄的图像进行拼接,得到全景拼接图;利用手机前后摄像头拍摄一组前后摄图像;利用深度单应性网络将手机前后摄图像进行拼接处理,得到带有孔洞的全景拼接图;利用深度图像增强网络将带有孔洞的全景拼接图去模糊处理,得到增强图像;利用深度生成对抗网络和全景拼接图将增强图像的内容补全,得到重构全景图。本发明利用端侧神经网络模型,对手机前后摄广角镜头视角的图像拼接、缺失的全景内容补全,实现了VR实时拍摄的自由化和简单化。
-
公开(公告)号:CN114187369B
公开(公告)日:2025-03-04
申请号:CN202111420160.8
申请日:2021-11-26
Applicant: 南京信息工程大学
IPC: G06T9/00
Abstract: 本发明公开了一种基于视频压缩技术的气象预报数据压缩方法,属于数据压缩技术领域。步骤包括:S1、获取原始气象预报数据,提取出时间片及气象要素数据;S2、对气象预报数据进行预处理:将同一时间各个站点同一气象要素数据映射到区间[0~1023*n],n为映射的通道数;S3、气象数据三维格点重构:将气象预报数据按三维格点数据进行存储,对应图片三个色彩通道数据格式形成气象数据图;S4、利用视频压缩工具对气象预报数据进行10bit位深、色度亮度比为4:4:4的无损压缩编码;S5、利用视频压缩工具对S4产生的编码文件进行气象数据解码,并进行气象预测数据逆变换。本发明减少了气象预报数据的存储空间,最终压缩比可达到10:1。
-
公开(公告)号:CN119484858A
公开(公告)日:2025-02-18
申请号:CN202411750025.3
申请日:2024-12-02
Applicant: 南京信息工程大学
IPC: H04N19/42 , H04N19/63 , H04N19/172 , H04N19/44 , H04N19/91 , G06T9/00 , G06N3/0464
Abstract: 本发明公开了一种基于高频特征增强的神经表示视频编码方法,属于深度学习和视频编码领域。该方法对视频帧预处理,构建数据集并输入基于高频特征增强的神经网络。编码过程中,通过内容编码器和小波高频编码器下采样视频帧,提取嵌入特征。小波高频编码器利用哈尔小波分解块分离高频信息,生成独立的高频特征。在解码阶段,通过高频特征调制层融合高频信息,并利用谐波块上采样生成重建视频帧,增强高频细节。方法在空间和频率域的重建损失上进行端到端优化,满足预设轮次后保存训练好的网络权重和特征嵌入。本发明通过引入高频信息指导解码器上采样,显著提升了重建视频的质量和压缩效率。
-
公开(公告)号:CN119006944A
公开(公告)日:2024-11-22
申请号:CN202411490578.X
申请日:2024-10-24
Applicant: 南京信息工程大学
IPC: G06V10/764 , G06V10/80 , G06V10/40 , G06V10/26
Abstract: 本发明公开了一种基于多模态对比学习的无标签点云分类方法,包括如下步骤:获取目标域点云;将目标域点云输入至训练好的点云分类模型,得到目标域点云的分类结果;其中,点云分类模型的训练步骤如下:获取目标域点云和源域点云;对源域点云和目标域点云分别进行特征处理,得到源域增强特征集和目标域增强特征集;其中,特征处理包括数据增强、图像模态生成、特征提取和特征增强;根据目标域增强特征集和源域增强特征集,通过最小化总损失函数对预构建的点云分类模型进行训练,得到训练好的点云分类模型。通过引入图像模态来学习模态互补知识,同时通过数据增强和特征增强提高了对比学习的性能,从而提高了点云分类方法的分类精确性。
-
公开(公告)号:CN118585964A
公开(公告)日:2024-09-03
申请号:CN202411074751.8
申请日:2024-08-07
Applicant: 南京信息工程大学
IPC: G06F18/25 , G06N3/0464 , G06N3/0455 , G06N3/0442 , G06N3/084 , G06N3/048
Abstract: 本发明公开了视音相关性特征融合策略的视频显著性预测方法及系统,涉及视频显著性预测技术领域。本发明包括:接收视频及音频数据,对视频数据进行预处理,得到连续的视频帧;采用预训练后的S3D作为视觉编码器,结合空洞空间金字塔池化和局部重要性池化,根据视频帧提取得到多尺度视觉时空特征;将多尺度视觉时空特征输入到多尺度特征协同模块中,通过在网络的不同层次提取和融合多尺度特征,得到增强特征,用于丰富其在对于不同大小物体的表征能力。本发明通过具有相关性感知的多头交叉注意力机制,根据音视频特征的语义相关性动态调整融合策略,有效避免了背景音频等无关音频对显著性预测的干扰,提高了预测的精度。
-
公开(公告)号:CN117201882A
公开(公告)日:2023-12-08
申请号:CN202311197639.9
申请日:2023-09-15
Applicant: 南京信息工程大学
IPC: H04N21/466 , H04N21/442 , H04N21/6375
Abstract: 本发明公开了一种基于瓦片优先级的全景视频传输方法及系统,包括预测出用户观看下一帧全景视频的视口;对全景视频中的预设目标进行检测,获得若干个目标对象框,若目标对象框与预测出的视口有重叠部分,则将目标对象框与预测出的视口合并,得到最终的预测视口;基于所述最终的预测视口,对下一帧全景视频中的所有瓦片进行传输优先级分类;以用户观看体验质量最大为目标,对不同传输优先级的瓦片分配对应的下载码率水平,并按照所述下载码率水平进行瓦片传输;重复以上步骤,直至完成所有帧全景视频传输。本发明能够有效提升全景视频流的传输效率。
-
-
-
-
-
-
-
-
-