公开(公告)号：CN114419524B

公开(公告)日：2022-08-05

申请号：CN202210316304.3

申请日：2022-03-29

Applicant: 之江实验室

Inventor： 卢修生 ,  鲍虎军 ,  程乐超 ,  杨非 ,  宋明黎

IPC: G06V20/40 ,  G06V10/62 ,  G06V10/80 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于伪光流辅助的视频分类方法及系统，能够计算伪光流特征并利用其辅助进行视频分类，其中伪光流计算模块利用相关性计算/卷积/转置卷积等操作，无监督地估计伪光流特征，然后将其融合到主干网络中，从而对段间运动信息进行有效显式建模；伪光流激励模块则在将伪光流特征对通道维度取均值后，用来对主干网络中的视频卷积特征进行空间注意力操作，从而使得主干网络更关注与运动信息更相关的空间位置。本发明实现方法简便，思路灵活，在动作视频数据集上取得了显著的分类效果提升。

公开(公告)号：CN114708482A

公开(公告)日：2022-07-05

申请号：CN202210174254.X

申请日：2022-02-24

Applicant: 之江实验室 ,  东北大学

Inventor： 张云洲 ,  刘英达 ,  秦操 ,  杨非 ,  杜承垚

IPC: G06V20/00 ,  G06V10/82 ,  G06V10/46 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了基于密度滤波和地标显著性的拓扑图场景识别方法及装置，有效解决视角变化下的场景识别问题，在目标检测算法的基础上，对得到的地标提取SIFT关键点，充分利用SIFT关键点对视角变化具有鲁棒性的特性，采用密度滤波算法获取具有视角不变性的地标，然后，通过对查询帧和参考帧中视角不变性地标的深度全局描述子进行交叉认证以及地标的形状分数的对比，得到两帧中相互匹配的地标，考虑到提取的地标仅仅代表图像的一小部分，一些低辨识度的地标可能会引起混淆，从而对匹配结果产生负面影响，因此使用地标定位网络获得地标显著性，然后利用基于地标间的空间关系、外观和图像显著性的拓扑图结构计算查询帧和参考帧匹配分数。

公开(公告)号：CN114419524A

公开(公告)日：2022-04-29

申请号：CN202210316304.3

申请日：2022-03-29

Applicant: 之江实验室

Inventor： 卢修生 ,  鲍虎军 ,  程乐超 ,  杨非 ,  宋明黎

IPC: G06V20/40 ,  G06V10/62 ,  G06V10/80 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于伪光流辅助的视频分类方法及系统，能够计算伪光流特征并利用其辅助进行视频分类，其中伪光流计算模块利用相关性计算/卷积/转置卷积等操作，无监督地估计伪光流特征，然后将其融合到主干网络中，从而对段间运动信息进行有效显式建模；伪光流激励模块则在将伪光流特征对通道维度取均值后，用来对主干网络中的视频卷积特征进行空间注意力操作，从而使得主干网络更关注与运动信息更相关的空间位置。本发明实现方法简便，思路灵活，在动作视频数据集上取得了显著的分类效果提升。

公开(公告)号：CN113918351A

公开(公告)日：2022-01-11

申请号：CN202111487478.8

申请日：2021-12-08

Applicant: 之江实验室

Inventor： 王宏升 ,  华炜 ,  颊维强 ,  杨非 ,  王拓 ,  鲍虎军

IPC: G06F9/50 ,  G06F16/901 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种深度学习框架与AI加速卡片内分布式训练适配方法和装置，包括如下步骤：S1：深度学习框架支持新增AI加速卡片内单卡配置，其子步骤如下：S11：深度学习框架支持新硬件；S12：深度学习框架支持新硬件的设备线程；S13：深度学习框架支持新硬件的内存操作；S14：深度学习框架支持新硬件的算子核函数；S2：深度学习框架支持新增AI加速卡片内多卡配置；S3：深度学习框架支持张量切分和多卡分布；S4：深度学习框架支持新增AI加速卡片内多卡集合通信，本发明打通了深度学习框架与新增AI加速卡，并将深度学习框架源码与芯片底层软件全面对接，最大限度释放芯片的硬件能力，为端侧AI提供最强劲的算力。