公开(公告)号：CN114419487B

公开(公告)日：2024-07-02

申请号：CN202111607289.X

申请日：2021-12-24

Applicant: 北京理工大学

Inventor： 甘明刚 ,  张琰 ,  陈杰 ,  吴玮 ,  何玉轩 ,  苏绍文 ,  马千兆 ,  刘晓舟

IPC: G06V20/40 ,  G06N3/0442 ,  G06N3/084 ,  G06V40/20 ,  G06V10/774 ,  G06V10/84 ,  G06V10/764

Abstract: 本发明公开了一种内容时间关系网络及生成时间动作提案的方法，能够解决在视频中难以生成高质量时序动作提案的问题。所述内容时间关系网络包括：特征编码模块、基础网络、提案评估网络、帧评估网络；所述特征编码模块得到视频特征序列；所述基础网络用于提取帧级别特征之间的双向语义关系，输出最终特征序列；所述提案评估网络包括提案特征图生成层和内容‑时间关系模块，所述提案特征图生成层将所述最终特征序列转化为二维时域提案特征图；所述内容‑时间关系模块基于所述二维时域提案特征图，获取提案之间的内容和时间语义关系，预测每个提案的置信度和完整性；所述帧评估网络输出每帧为动作帧、开始帧、以及结束帧的概率。

公开(公告)号：CN112613349B

公开(公告)日：2023-01-10

申请号：CN202011402943.9

申请日：2020-12-04

Applicant: 北京理工大学

Inventor： 甘明刚 ,  张琰 ,  刘洁玺 ,  陈杰 ,  窦丽华 ,  陈文颉 ,  陈晨

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供一种基于深度混合卷积神经网络的时序动作检测方法及装置，所述方法包括获取待检测视频；将视频输入训练好的深度混合卷积神经网络，所述深度混合卷积神经网络模型包括特征编码模块、第一子网及第二子网；所述特征编码模块通过双流网络从原始视频数据中提取片段特征，所述第一子网基于所述特征编码模块提取的片段特征，获得一组提议特征，所述第二子网接收所述提议特征，基于所述提议特征之间的关系构建图，将构建的图输入GCN模型，扩大提议特征的接受区域；输出所述待检测视频的动作类别与动作起始、终止时间。根据本发明的方案，有效利用提议之间的关系，提高了时序动作检测的准确率，有效解决了时序动作检测。

公开(公告)号：CN114463404B

公开(公告)日：2024-07-02

申请号：CN202210003877.0

申请日：2022-01-05

Applicant: 北京理工大学

Inventor： 甘明刚 ,  何玉轩 ,  陈杰 ,  吴玮 ,  张琰 ,  刘晓舟 ,  苏绍文 ,  马千兆

IPC: G06T7/55 ,  G06T7/73 ,  G06N3/0464 ,  G06N3/045

Abstract: 本发明的自适应深度感知视觉关系的检测方法，由深度感知视觉融合模块由深度细化单元和深度感知注意力单元组成，能够将不准确的深度视觉信息与准确的RGB视觉信息融合。通过分区域局部池化操作，在背景噪声和前景噪声的影响下，目标的深度空间定位存在较大的误差时，采用自适应深度空间定位方法，利用区域信息方差度量边界框中每个小区域的信息相关性，充分利用视觉外观和空间位置这两个视觉关系检测的主要因素中的深度信息，提高网神经络在视觉关系检测任务中的性能。

公开(公告)号：CN114078226B

公开(公告)日：2024-07-02

申请号：CN202111411477.5

申请日：2021-11-25

Applicant: 北京理工大学

Inventor： 甘明刚 ,  苏绍文 ,  王晴 ,  张琰 ,  何玉轩 ,  马千兆 ,  刘晋廷 ,  杜尧

IPC: G06V20/40 ,  G06V40/20 ,  G06V10/764 ,  G06V10/74

Abstract: 本发明提出了一种基于动作管道在线关联的智联生产线行为识别方法，采用多标准相似性匹配的动作管道在线关联算法，能够得到更精准的视频级动作检测结果。本发明采用视觉传感器获取生产线视频数据，经帧级动作检测模型实时检测输出检测框，采用包含类别一致性、类别置信度、空间重叠程度、外观相似性以及时空相似性的多标准相似性匹配的原则对检测框进行在线关联，实时输出视频级行为识别结果，即动作管道，提升了行为识别的准确性，尤其是对于空间位置变化大、速度快的行为类别，其识别效果取得了明显提升，更加适应智联生产线上的复杂应用场景。

公开(公告)号：CN115937972A

公开(公告)日：2023-04-07

申请号：CN202211489521.9

申请日：2022-11-25

Applicant: 北京理工大学

Inventor： 甘明刚 ,  张琰 ,  陈杰 ,  夏明月 ,  张少卿 ,  马千兆

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0442 ,  G06N3/08

Abstract: 本发明涉及一种时序‑视觉提案图网络的时序动作检测方法，属于时序动作检测技术。该方法在提案图上并行使用时序图卷积网络和视觉图卷积网络：首先，为每个提案选择有价值的邻居提案，并将其构建为动作提案图，再采用图卷积网络根据邻居提案对分类的不同贡献从邻居提案中获取动作信息来构造一个视觉图卷积网络，采用提案特征的余弦相似度作为权重；在动作提案图上再构造一个与视觉图卷积网络并行的时序图卷积网络，通过提案之间的时序和视觉相关性聚合信息。在使用图卷积网络时，提出一种新的时序图卷积操作，该操作将邻居提案按照时序位置关系划分为多个子邻居，并以不同的方式提取信息，采用度量函数作为辅助监督，以从邻居提案中获取更多有价值的信息。

公开(公告)号：CN115937650A

公开(公告)日：2023-04-07

申请号：CN202211491762.7

申请日：2022-11-25

Applicant: 北京理工大学

Inventor： 甘明刚 ,  张琰 ,  陈杰 ,  张少卿 ,  马千兆 ,  夏明月

IPC: G06V10/82 ,  G06V10/764 ,  G06V10/766 ,  G06V40/20 ,  G06V20/40 ,  G06N3/042 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/047 ,  G06N3/0475 ,  G06N3/048

Abstract: 本发明涉及一种用于时序动作检测的图网络模型，属于时序动作检测任务技术领域。在提议生成阶段，通过基本特征网络和提议生成网络获得动作提议；在获得动作提议后，在提议分类阶段预测其具体动作标签，在此阶段，提议分类网络具有跨尺度提议图模块和语义提议图模块，以获得高质量的提议特征，在跨尺度提议图模块中，设计了一个跨时间特征金字塔的图注意力卷积网络A来生成具有不同粒度时间上下文信息的提议特征M，在语义提议图模块中，将具有不同粒度时间上下文信息的提议特征M构建到提议图中，并利用图注意力卷积网络B在提议之间传递语义信息，得到增强的提议特征N，最后将增强的提议特征N提供给分类器，以预测提议的标签。

公开(公告)号：CN115242188A

公开(公告)日：2022-10-25

申请号：CN202210962132.7

申请日：2022-08-11

Applicant: 北京理工大学

Inventor： 韩恺 ,  张妍 ,  王永真 ,  孙皓然 ,  张琰 ,  杨子骞 ,  张伟

IPC: H02S40/44 ,  H02S10/00 ,  F24D18/00 ,  G06F30/20 ,  F24D101/40

Abstract: 本申请提供耦合光伏发电与辐射制热的建筑供暖系统及其仿真方法。该建筑供暖系统，包括：光伏阵列、低温辐射电热膜、蓄电池、控制器；光伏阵列用于光伏发电，设置在待供暖建筑的室外；低温辐射电热膜用于辐射制热，设置在待供暖建筑的室内；控制器与蓄电池连接，用于控制蓄电池为低温辐射电热膜提供电能、或控制蓄电池储存光伏阵列产生的电能；控制器还与光伏阵列连接，用于控制光伏阵列将吸收的太阳辐射热量转换为电能，并将电能提供给蓄电池或市电电网；控制器还与低温辐射电热膜连接，控制低温辐射电热膜开闭，及在低温辐射电热膜开启时，控制低温辐射电热膜从蓄电池或市电电网获取电能。如此，提高采暖舒适性，降低和控制供暖产生的污染。

公开(公告)号：CN114463404A

公开(公告)日：2022-05-10

申请号：CN202210003877.0

申请日：2022-01-05

Applicant: 北京理工大学

Inventor： 甘明刚 ,  何玉轩 ,  陈杰 ,  吴玮 ,  张琰 ,  刘晓舟 ,  苏绍文 ,  马千兆

IPC: G06T7/55 ,  G06T7/73 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明的自适应深度感知视觉关系的检测方法，由深度感知视觉融合模块由深度细化单元和深度感知注意力单元组成，能够将不准确的深度视觉信息与准确的RGB视觉信息融合。通过分区域局部池化操作，在背景噪声和前景噪声的影响下，目标的深度空间定位存在较大的误差时，采用自适应深度空间定位方法，利用区域信息方差度量边界框中每个小区域的信息相关性，充分利用视觉外观和空间位置这两个视觉关系检测的主要因素中的深度信息，提高网神经络在视觉关系检测任务中的性能。

公开(公告)号：CN114445732A

公开(公告)日：2022-05-06

申请号：CN202111579663.X

申请日：2021-12-22

Applicant: 北京理工大学

Inventor： 甘明刚 ,  张琰 ,  陈杰 ,  胡康 ,  何玉轩 ,  苏绍文 ,  马千兆 ,  刘晓舟

IPC: G06V20/40 ,  G06V10/764 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供一种面向视频的时间动作检测方法，解决实际数据中动作实例的持续时间变化很大的问题。本发明采用TAPP方法利用注意机制关注提案的区别性部分，抑制背景对提案特征的影响；然后构造时间金字塔结构，在不丢失时间信息的前提下，将任意长度的提案特征序列转换为多个定长序列，同时设计了一个多尺度时间函数，将其应用到时间金字塔中来生成最终的提案特征，并且基于TAPP方法构建了一个时间动作提案生成模型和一个动作提案分类模型，可以有效的处理不定长时间的时间动作提案，从而更好的完成视频数据中的时间动作检测任务。

公开(公告)号：CN111664786A

公开(公告)日：2020-09-15

申请号：CN202010402835.5

申请日：2020-05-13

Applicant: 上海机电工程研究所 ,  北京理工大学 ,  北方工业大学

Inventor： 沈涛 ,  李艳红 ,  朱炜 ,  陈强华 ,  刘斌超 ,  赵吕懿 ,  张琰 ,  柴娟芳 ,  杨扬 ,  周麟

IPC: G01B9/02

Abstract: 本发明提供了一种适用于双频激光干涉测量的光隔离装置及方法，包括：第一偏振分光镜、第一单向通过光路、第二偏振分光镜和第二单向通过光路；光束经过第一偏振分光镜分束为S光和P光；S光经过第一单向通过光路后进入第二偏振分光镜；P光经过第二单向通过光路后进入第二偏振分光镜；第二偏振分光镜对进入的光进行合束输出。本发明通过通过构建了单向传输路径，保证了双频激光光束的偏振特性不变，同时具备光隔离效果好、激光能量损失少、机理明确、工程实践效果好、应用范围广泛等优点。