公开(公告)号：CN118887585A

公开(公告)日：2024-11-01

申请号：CN202411018735.7

申请日：2024-07-29

Applicant: 新型显示与视觉感知石城实验室

Inventor： 胡轶宁 ,  梅剑平 ,  袁旭稚 ,  张洁怡 ,  苏玉民 ,  李晓华 ,  邓皓

IPC: G06V20/40 ,  G06V10/764 ,  G06N20/10 ,  G06T7/246 ,  G06T7/269

Abstract: 本发明公开了一种基于SVM及运动特征提取的视频帧分类方法和系统，旨在高效且准确地对视频内容进行自动分析与归类。该方法将视频帧划分为四大类别：镜头固定、镜头切换、镜头跟随和大幅运动，通过运动特征矢量构建与SVM模型的集成应用，实现了对视频帧的分类。首先提取当前帧及上一帧图像并进行预处理，随后利用运动分析技术，如帧间差异检测、光流法等，提取出帧间运动特征，如运动强度、方向变化及连续性等。将这些特征组织成特征向量，作为支持向量机分类的输入。通过SVM模型训练过程，能够迅速而准确地判断其所属类别。本发明提高了视频处理的自动化水平和分类精度，为视频内容分析、监控系统、智能编辑等领域提供了强大的技术支持。

公开(公告)号：CN118196604A

公开(公告)日：2024-06-14

申请号：CN202410340505.6

申请日：2024-03-25

Applicant: 新型显示与视觉感知石城实验室 ,  东南大学

Inventor： 胡轶宁 ,  顾思琦 ,  王征 ,  张宇宁 ,  谢理哲

IPC: G06V20/00 ,  G06V10/40 ,  G06V10/82

Abstract: 本发明公开了对迭代FGSM反取证攻击鲁棒的像素级定位取证方法，构建像素级定位取证模型，该模型由特征提取模块、多尺度模块、解码器模块三部分组成；特征提取模块用于提取图像的RGB色彩特征和SRM噪声特征，在提取出的RGB色彩特征后使用多尺度模块，该模块基于注意力机制和密集特征设计，让模型在更大的感受野下提取多尺度特征。解码器模块由基于残差块的上采样单元组成，其中每个单元都使用了注意力机制SCSE层。解码器模块与特征提取模块的对应部分使用跳跃连接相连，解码器模块输出预测的取证定位掩码。像素级定位取证模型在多个公开数据集上取得了较好的取证效果，且在基于迭代FGSM的反取证攻击下表现出较好的鲁棒性。

公开(公告)号：CN118609015A

公开(公告)日：2024-09-06

申请号：CN202410644380.6

申请日：2024-05-23

Applicant: 新型显示与视觉感知石城实验室 ,  东南大学

Inventor： 胡轶宁 ,  苌鸿 ,  王征 ,  谢理哲 ,  张宇宁

IPC: G06V20/40 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0442

Abstract: 本发明公开了一种基于帧差卷积神经网络的视频重点区域分析方法，包括：利用SVM分类器对每个视频帧进行分类，确定视频帧所属类别；基于卷积神经网络和LSTM网络构建场景类别识别模型，用于对视频帧进行场景类别标记；根据场景类别设计热力图提取方案，对输入的图像数组数据生成灰度图作为热度权重；根据视频帧所属类别，利用热力图与加权矩阵相乘得到的结果，获取权值最大的区域作为截取部分的中心点；根据计算出的截取部分的中心点坐标对视频帧进行裁剪，将处理后的竖屏画面在前端进行显示。本发明能够准确地进行视频的裁剪，最后在前端显示出裁剪后视频画面的重点部分，提供更好的竖屏观看体验。

公开(公告)号：CN117726912A

公开(公告)日：2024-03-19

申请号：CN202311641564.9

申请日：2023-12-04

Applicant: 新型显示与视觉感知石城实验室 ,  东南大学

Inventor： 胡轶宁 ,  赵笛言 ,  王征 ,  张宇宁 ,  谢理哲

IPC: G06V10/80 ,  G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/09

Abstract: 本发明公开了一种基于多特征融合的深度伪造图像检测模型，引入空间域、频率域和共生矩阵特征多域特征作为不同GAN结构生成图像的“共有特征”，即提取全局RGB特征作为空间域特征，设计频谱特征提取模块来提取图像二维频谱中存在的特征，设计共生矩阵提取模块来提取图像中的自然数据统计信息；提取多域特征后，基于融合机制设计出生成图像检测模型，将三种不同域特征进行融合后送入同一个骨干网络进行特征提取以及分类预测。基于多特征融合的模型充分利用了不同域的“共有特征”，同时设计了混合数据集，在保证检测速度的基础上平均检测精度得到提升，有效提高模型的泛化性，从而应对无法确定图像具体来源的GAN伪造图像检测问题。

公开(公告)号：CN119342280A

公开(公告)日：2025-01-21

申请号：CN202411367118.8

申请日：2024-09-29

Applicant: 新型显示与视觉感知石城实验室

Inventor： 胡轶宁 ,  季明 ,  刘玓 ,  齐翼 ,  邓皓 ,  李晓华 ,  张洁怡

IPC: H04N21/44 ,  H04N5/265

Abstract: 本发明公开一种基于热力图及掩膜的视频裁剪方法及系统，包括步骤：将视频帧按镜头固定、镜头切换、镜头跟随、大幅运动分类；分别计算各个场景分类的视频帧图像的热力图，并计算镜头固定、镜头跟随、大幅运动场景的视频帧图像的掩膜；针对镜头固定、镜头跟随、大幅运动场景，将热力图及掩膜相乘，选择乘积值最大的区域作为裁剪区域中心，并按照裁剪区域大小进行裁剪；针对镜头切换场景，以热力图中二维矩阵的最大值作为裁剪区域中心，并按照裁剪区域大小进行裁剪；对裁剪后所得区域进行时域、空域滤波。本发明旨在通过智能化分析视频帧的内容特性，采用定制化的处理流程，实现视频的高质量裁剪，可广泛应用于传媒、影视、体育直播等领域。