公开(公告)号：CN113569605A

公开(公告)日：2021-10-29

申请号：CN202110058983.4

申请日：2021-01-17

Applicant: 南京大学 ,  腾讯科技(深圳)有限公司

Inventor： 王利民 ,  武港山 ,  滕尧 ,  李志鋒 ,  宋常志

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本公开提供了一种视频信息处理方法，包括：对目标视频进行采样处理以获取目标视频所对应的采样图像帧和中心图像帧；确定中心图像帧的物体特征向量、层次关系树结构、关系特征向量；确定采样图像帧的物体时序特征向量和关系时序特征向量；根据物体特征向量、关系特征向量、层次关系树结构、物体时序特征向量和采样图像帧的关系时序特征向量，通过视频信息处理模型进行特征向量聚合处理；对采样图像帧中的物体进行分类；确定与目标视频相对应的视频场景图。本公开还提供了信息处理装置、电子设备及存储介质。本公开不但有效压缩视频处理模型的模型结构，减少计算量，同时所生成的场景图的准确率较高，场景图生成速度较快，提升了用户的使用体验。

公开(公告)号：CN118799914A

公开(公告)日：2024-10-18

申请号：CN202410769608.4

申请日：2024-06-14

Applicant: 南京大学

Inventor： 王利民 ,  王一森 ,  滕尧 ,  武港山

IPC: G06V40/10 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/042 ,  G06N3/0455 ,  G06N3/084 ,  G06N3/096

Abstract: 一种联合检测与生成的循环一致性人‑物交互检测方法，由HOI检测器与文生图模型Stable Diffusion构建一个联合训练框架来对HOI检测器进行训练，仅用经过训练的HOI检测器进行人‑物交互检测；所述联合训练框架中，构建循环一致性网络利用Stable Diffusion对HOI检测器提取的特征进行反向操作，来重建恢复原始图像的视觉内容，以提高HOI检测器提取实例特征的质量，同时通过知识蒸馏将Stable Diffusion的特征知识传递给HOI检测器的编码器，并在训练中通过Stable Diffusion对人‑物交互数据进行标签补全和样本扩增。本发明方法能够改善HOI模型的泛化能力，解决了HOI数据集规模较小、数据分布不均匀导致的长尾问题以及标注不完整或缺失的漏标问题，提高检测性能。

公开(公告)号：CN113569605B

公开(公告)日：2024-07-16

申请号：CN202110058983.4

申请日：2021-01-17

Applicant: 南京大学 ,  腾讯科技(深圳)有限公司

Inventor： 王利民 ,  武港山 ,  滕尧 ,  李志鋒 ,  宋常志

IPC: G06V20/40 ,  G06V10/762 ,  G06V10/764 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/08

Abstract: 本公开提供了一种视频信息处理方法，包括：对目标视频进行采样处理以获取目标视频所对应的采样图像帧和中心图像帧；确定中心图像帧的物体特征向量、层次关系树结构、关系特征向量；确定采样图像帧的物体时序特征向量和关系时序特征向量；根据物体特征向量、关系特征向量、层次关系树结构、物体时序特征向量和采样图像帧的关系时序特征向量，通过视频信息处理模型进行特征向量聚合处理；对采样图像帧中的物体进行分类；确定与目标视频相对应的视频场景图。本公开还提供了信息处理装置、电子设备及存储介质。本公开不但有效压缩视频处理模型的模型结构，减少计算量，同时所生成的场景图的准确率较高，场景图生成速度较快，提升了用户的使用体验。

公开(公告)号：CN116824234A

公开(公告)日：2023-09-29

申请号：CN202310702902.9

申请日：2023-06-14

Applicant: 南京大学

Inventor： 王利民 ,  王帅 ,  滕尧 ,  武港山

IPC: G06V10/764 ,  G06V10/82 ,  G06V10/52 ,  G06N3/0455 ,  G06N3/084 ,  G06N3/082

Abstract: 一种基于不动点建模的目标检测的方法、设备及存储介质,基于不动点建模的目标检测器训练策略，将原有的计算机视觉中的多层用于微调的解码器层进行压缩，仅使用一层进行不动点迭代来不断微调检测结果，同时在训练过程中采用微调感知梯度策略，以及微调感知扰动策略，通过增强检测器对于微调过程的感知，来提高目标检测器的性能。本发明能够和现有方法进行很好的融合，可以迁移到现有的多种目标检测器中，不改变模型结构的同时，通过不动点建模，将多层参数共享，降低参数量和节省训练显存的同时提升目标检测器的性能。

公开(公告)号：CN114863088A

公开(公告)日：2022-08-05

申请号：CN202210319585.8

申请日：2022-03-29

Applicant: 南京大学

Inventor： 王利民 ,  赵亮 ,  滕尧 ,  武港山

IPC: G06V10/25 ,  G06V10/764 ,  G06V10/776 ,  G06V10/82 ,  G06N3/04

Abstract: 一种面向长尾目标检测的分类对数归一化方法，目标检测中，对分类器的预测分布使用归一化的方式执行矫正，具体为利用分类器已有的分类输出的分类对数计算统计量，来归一化分类网络最终激活值，自我纠正有偏差的预测结果。尤其适用于长尾目标检测。本发明方法是免训练和免调参的，与具体目标检测模型和分布无关，是即插即用的。本发明方法同时在长尾目标检测和分类任务上展现了有效性和通用性，在现有的极具挑战性的长尾目标检测数据集LVIS 1.0上，本发明方法在多种检测器设置下，所有标准指标均超过了现有最好模型。本发明方法也在长尾分类数据集ImageNet‑LT上取得了较好的效果。