公开(公告)号：CN116543351A

公开(公告)日：2023-08-04

申请号：CN202310598295.6

申请日：2023-05-25

Applicant: 北京邮电大学 ,  中科(黑龙江)数字经济研究院有限公司

Inventor： 周琬婷 ,  韩雨杉 ,  孔龙腾 ,  孙哲南 ,  王小捷

IPC: G06V20/52 ,  G06V20/40 ,  G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06N3/084 ,  G06N3/09 ,  H04N19/503 ,  H04N19/593

Abstract: 本申请公开了一种基于时空串并联关系编码的自监督群体行为识别方法，属于视频分析技术领域，包括获取群体行为视频数据；基于时空串并联注意力机制关系预测编码，构建群体特征自学习模型的网络结构，网络结构包括群体标记生成器、串行‑并行Transformer编码器和注意力机制解码器；对网络结构进行自监督训练，得到特征自学习目标网络；基于少量样本对特征自学习目标网络进行微调，得到用于实现群体行为识别的目标网络。本申请通过时空串并联注意力机制关系预测编码充分挖掘群体中的空间配合关系和时序动态变化，从而提高状态转化的构建能力，学习复杂群体特征的表达。适用于缺乏标注的高效精确群体行为识别。

公开(公告)号：CN116797972B

公开(公告)日：2024-09-06

申请号：CN202310756691.7

申请日：2023-06-26

Applicant: 中科(黑龙江)数字经济研究院有限公司 ,  北京邮电大学

Inventor： 孔龙腾 ,  周琬婷 ,  刘睿健 ,  冯方向 ,  王小捷

IPC: G06V20/40 ,  G06N3/045 ,  G06N3/0895

Abstract: 本发明为视频分析领域，公开了基于稀疏图因果时序编码的自监督群体行为识别方法及其识别装置。获得群体行为视频数据；基于稀疏图因果时序预测编码，构建描述群体状态时空信息变化的网络结构，网络结构包括特征提取网络、编码器与解码器。特征提取网络，用于根据群体行为视频数据提取特征向量组；编码器，根据群体行为视频数据构建的场景中个体的稀疏图；解码器，利用注意力机制建模长期线索之间的依赖关系关注最相关的历史动态，以用于预测未来群组变化；对描述群体状态时空信息变化的网络结构构建损失函数，增强自监督学习的效果；利用优化后的网络结构实现自监督条件下的群体行为识别。本发明可针对具有复杂时序关系和空间位置关系的群体行为进行建模与识别，用以解决常用的基于循环神经网络等模型在表示行为动态特征方面能力不足、识别性能欠佳的问题。

公开(公告)号：CN116797972A

公开(公告)日：2023-09-22

申请号：CN202310756691.7

申请日：2023-06-26

Applicant: 中科(黑龙江)数字经济研究院有限公司 ,  北京邮电大学

Inventor： 孔龙腾 ,  周琬婷 ,  刘睿健 ,  冯方向 ,  王小捷

IPC: G06V20/40 ,  G06N3/045 ,  G06N3/0895

Abstract: 本发明为视频分析领域，公开了基于稀疏图因果时序编码的自监督群体行为识别方法及其识别装置。获得群体行为视频数据；基于稀疏图因果时序预测编码，构建描述群体状态时空信息变化的网络结构，网络结构包括特征提取网络、编码器与解码器。特征提取网络，用于根据群体行为视频数据提取特征向量组；编码器，根据群体行为视频数据构建的场景中个体的稀疏图；解码器，利用注意力机制建模长期线索之间的依赖关系关注最相关的历史动态，以用于预测未来群组变化；对描述群体状态时空信息变化的网络结构构建损失函数，增强自监督学习的效果；利用优化后的网络结构实现自监督条件下的群体行为识别。本发明可针对具有复杂时序关系和空间位置关系的群体行为进行建模与识别，用以解决常用的基于循环神经网络等模型在表示行为动态特征方面能力不足、识别性能欠佳的问题。

公开(公告)号：CN114706947B

公开(公告)日：2025-01-21

申请号：CN202210314017.9

申请日：2022-03-28

Applicant: 北京邮电大学

Inventor： 白子薇 ,  王小捷 ,  袁彩霞

IPC: G06F16/334 ,  G06F16/3329 ,  G06F40/30 ,  G06F18/214

Abstract: 本申请公开了一种文本问答模型的训练方法和装置及文本问答方法，其中训练方法包括：获取样本数据集合；样本数据集合包括主任务的样本数据和辅任务的样本数据，主任务的样本数据包括文本、问题和答案，辅任务的样本数据包括文本、问题和答案证据；基于每个样本数据，利用文本问答模型，执行相应任务，并利用任务执行结果，对所述文本问答模型的参数进行优化调整；其中，当样本数据为主任务的样本数据时，利用文本问答模型，采用答案证据感知方式，对样本数据中的问题进行答案预测；当样本数据为辅任务的样本数据时，利用文本问答模型，对样本数据中的问题进行答案证据预测。采用本申请，可以提高答案预测的准确性，且具有可解释性。

公开(公告)号：CN113705222B

公开(公告)日：2024-03-08

申请号：CN202111018750.8

申请日：2021-09-01

Applicant: 北京邮电大学

Inventor： 沈皓 ,  王小捷 ,  袁彩霞 ,  刘俊鹏 ,  江会星 ,  武威

IPC: G06F40/284 ,  G06F40/126 ,  G06F16/35 ,  G06F18/24 ,  G06F18/23213

公开(公告)号：CN114186568B

公开(公告)日：2022-08-02

申请号：CN202111541714.X

申请日：2021-12-16

Applicant: 北京邮电大学

Inventor： 李睿凡 ,  刘云 ,  石祎晖 ,  冯方向 ,  马占宇 ,  王小捷

IPC: G06F40/30 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于关系编码和层次注意力机制的图像段落描述方法，方法模型由关系编码模块和层次注意解码模块组成。关系编码模块通过两个编码器捕获编码空间关系信息和语义关系信息，其中语义关系编码时通过训练有监督的语义分类器来学习语义关系的先验知识。层次注意解码模块的层次注意力使用带有关系门和视觉门的层次注意力来动态的融合关系信息和物体区域特征，关系门用于在空间关系信息和语义关系信息之间切换，视觉门用于决定是否嵌入使用视觉信息，模型采用从粗粒度区域到细粒度的空间和语义关系的策略在段落生成过程中融合视觉信息。通过在斯坦福段落描述数据集上的大量实验表明，本发明方法在本领域的多个评价指标上显著优于现有方法。

公开(公告)号：CN112689099B

公开(公告)日：2022-03-22

申请号：CN202011460648.9

申请日：2020-12-11

Applicant: 北京邮电大学

Inventor： 董譞 ,  许康 ,  胡晓妍 ,  李伟欣 ,  王小捷 ,  王蕴红

IPC: H04N5/235 ,  H04N5/357

Abstract: 本发明实施例提供了一种面向双镜头相机的无重影高动态范围成像方法及装置，获取双镜头相机在同一时刻采集的一张长曝光图像和一张短曝光图像；将所述长曝光图像和所述短曝光图像输入无重影高动态范围成像的主图像增强模型，以使得所述主图像增强模型执行如下操作，获得高动态范围图像：基于所述短曝光图像，对所述长曝光图像进行对齐调整，获得对齐图像；基于所述对齐图像，对所述短曝光图像进行曝光调整以及降噪处理，获得降噪图像；对所述短曝光图像和所述降噪图像进行融合，得到所述高动态范围图像。通过本方案，可以获得面向双镜头相机的无重影的高动态范围图像，提高双镜头相机的成像质量。

公开(公告)号：CN111354058B

公开(公告)日：2022-03-04

申请号：CN202010080048.3

申请日：2020-02-04

Applicant: 北京邮电大学

Inventor： 董譞 ,  胡晓妍 ,  李伟欣 ,  王小捷 ,  王蕴红

IPC: G06T11/40 ,  G06N3/08 ,  G06N3/04

Abstract: 本发明实施例提供了一种图像着色方法、装置、图像采集设备及可读存储介质。该方法应用于具有包括黑白相机和彩色相机的多摄像头相机系统的目标图像采集设备，该方法包括：获取黑白相机拍摄得到的黑白图像和彩色相机拍摄得到的彩色图像；将黑白图像和彩色图像输入到预设的着色模型中，得到所述着色模型的输出结果，作为对黑白图像进行着色得到的目标图像；其中，着色模型是基于每对样本图像的彩色样本图像、第一次着色结果和水平翻转后的第二次着色结果对预设的初始着色模型进行训练得到的。与现有技术相比，应用本发明实施例提供的方案，能够实现对具有包括黑白相机和彩色相机的多摄像头相机系统的图像采集设备拍摄得到的黑白图像进行着色。

公开(公告)号：CN112328774A

公开(公告)日：2021-02-05

申请号：CN202011355592.0

申请日：2020-11-27

Applicant: 北京邮电大学

Inventor： 刘含 ,  袁彩霞 ,  王小捷 ,  刘咏彬 ,  冯方向 ,  李蕾

IPC: G06F16/332 ,  G06F40/35 ,  G06N3/04

Abstract: 本申请公开了一种基于多文档的任务型人机对话任务的实现方法，包括：每轮对话结束时，利用预设人机对话任务模型对该轮对话的问答文本处理，该处理包括：基于问答文本生成问答向量；计算问答向量与各候选文档的属性相关向量的相似度；基于问答向量和相似度生成该轮对话中各候选文档的概率分布和该轮对话的属性分布；根据所述概率分布更新全局候选文档概率分布向量；根据所述属性分布更新全局属性分布向量；若满足人机对话结束条件，则基于全局候选文档概率分布向量确定任务执行结果并输出；否则，基于全局候选文档概率分布向量和全局属性分布向量，利用自然语言对话模板，确定下一提问信息。采用本发明可以提高任务执行效率和成功率，且易于实现。

公开(公告)号：CN109165309B

公开(公告)日：2020-10-16

申请号：CN201810885541.5

申请日：2018-08-06

Applicant: 北京邮电大学

Inventor： 李睿凡 ,  陈光 ,  都金超 ,  李鑫 ,  王宁 ,  梁昊雨 ,  李亚洲 ,  朱正源 ,  王小捷

IPC: G06F16/55 ,  G06F16/583

Abstract: 本发明实施例提供了负例训练样本采集方法和模型训练方法。负例训练样本采集方法包括：对表示向量进行聚类，确定目标向量所属的第一聚类及中心，从而确定候选聚类的目标概率，从候选向量中抽取多个第二聚类，并从每个第二聚类中获取一个负例训练样本。模型训练方法包括：确定多组训练样本；基于训练样本对初始图像检索模型进行训练，在迭代到一定次数时，若模型没有训练完成，重新确定训练样本继续训练，直至模型训练完成。与现有技术相比，应用本发明实施例提供的方案，采集负例训练样本时，可以在兼顾各个不同难度水平的负例训练样本的同时，优先采集“难”的负例训练样本，进而提高基于负例训练样本训练得到的图像检索模型的准确率。