公开(公告)号：CN119380241A

公开(公告)日：2025-01-28

申请号：CN202411491511.8

申请日：2024-10-24

Applicant: 中电鸿信信息科技有限公司

Inventor： 周洪汉 ,  罗进 ,  王亚东 ,  高丽华 ,  李国乐 ,  聂彦岭 ,  王赛君 ,  单颖 ,  卞相权

IPC: G06V20/40 ,  G06V10/42 ,  G06V10/44 ,  G06V10/774 ,  G06V10/82 ,  G06N3/042 ,  G06N3/08

Abstract: 本发明公开了一种基于全局和局部变化的视频理解方法、系统、设备及介质，在视频的不同帧图片上构建含有目标物的图表示；通过图神经网络对视频帧含有目标物的图表示进行训练，获得相邻图表示之间的动作转移信息；将训练视频的所有帧图片的动作转移信息表示拼接为一个统一的动作变化矩阵；将动作变化矩阵输入到Transformer模型中，提取视频帧图片不同隐式表示之间的变化关系。本发明利用整个视频帧图片上的目标物体构建相应的图表示；利用图神经网络训练获取单个帧图片上的动作变化趋势之后，通过Transformer模型获取不同帧图片上的动作关系，专注于动作变化最明显的时刻，提升视频理解的准确率。

公开(公告)号：CN119026684A

公开(公告)日：2024-11-26

申请号：CN202410832864.3

申请日：2024-06-26

Applicant: 中电鸿信信息科技有限公司

Inventor： 刘大伟 ,  朱宗建 ,  廖胜兰 ,  沈宇 ,  王亚东 ,  侯凝冰 ,  车少帅 ,  刘馨 ,  蔡宇杰

IPC: G06N5/04 ,  G06N3/0455 ,  G06F18/213 ,  G06F18/25 ,  G06V10/42

Abstract: 本发明提供了一种基于跨模态隐式局部学习的问答推理方法及系统，涉及自然语言处理技术领域。方法包括：获取训练特征数据集，对训练特征数据集进行配对，得到若干样本，每对样本都由图像、图像对应的问题描述文本和问题对应的答案组成。提取图像的图像特征，对问题描述文本进行掩码得到掩码问题描述文本；使用Transformer编码器对掩码问题描述文本进行特征提取，得到掩码问题描述文本特征。构建跨模态融合模块，将图像特征与掩码问题描述文本特征作为跨模态融合模块的输入，由掩码预测模块预测被掩码替换的字符。计算预测被掩码替换的字符与真实字符的相似度，设计整体优化目标函数对掩码预测模块进行优化。本发明在图像问答、物体识别、行人检索领域均有良好的应用前景。

公开(公告)号：CN115965747A

公开(公告)日：2023-04-14

申请号：CN202310007453.6

申请日：2023-01-04

Applicant: 中电鸿信信息科技有限公司

Inventor： 王宁 ,  胡笳 ,  王亚东 ,  马俊杰 ,  李银中 ,  罗进 ,  王赛君 ,  单颖

IPC: G06T17/00 ,  G06T15/00 ,  G06T7/90

Abstract: 本发明公开了一种快速生成和渲染三维热力图的方法，包括每个热力点生成一个热力点三维矩阵，并计算热力点三维矩阵元素的热力值；将需要渲染的空间生成空间三维矩阵；结合热力点三维矩阵及其热力值，计算空间三维矩阵中每个元素的热力值；将空间三维矩阵中每个元素的热力值转换成颜色，得到带颜色值的三维矩阵；将带颜色值的三维矩阵转成三维模型数据格式，得到三维热力图模型数据；客户端解析三维热力图模型数据并进行渲染。本发明利用服务器或者客户端预先生成三维热力图模型数据，加快了三维热力图的生成速度，三维模型数据传给客户端展示，客户端不需要再根据热点去计算每个片元的颜色，加快了渲染速度。

公开(公告)号：CN119862573A

公开(公告)日：2025-04-22

申请号：CN202411923077.6

申请日：2024-12-25

Applicant: 中电鸿信信息科技有限公司

Inventor： 王亚东 ,  赵上辉 ,  叶文武 ,  管羽晟 ,  刘大伟 ,  沈宇 ,  侯凝冰 ,  车少帅 ,  刘馨 ,  蔡宇杰

IPC: G06F21/56 ,  G06V20/40 ,  G06V30/148 ,  G06V10/82 ,  G06N3/094

Abstract: 本发明公开基于视频帧的视频多模态大模型越狱攻击方法、系统、设备和介质，方法包括：构建有害语料库；将视频分解成视频帧，利用有害语料库生成噪声并添加到视频帧，生成对抗性视频帧，将所有生成的对抗性视频帧合成视频越狱样本；通过固定视频越狱样本，找到最优的有害文本指令；将视频越狱样本和最优有害文本指令组合作为视频多模态大模型的联合输入，以评估待评价的视频多模态大模型的安全性能。本发明可以有效生成一个通用的视频越狱攻击样本攻击安全对齐后的视频多模态大模型，显著降低了越狱攻击多个不同多模态大模型带来的资源消耗。

公开(公告)号：CN119538905A

公开(公告)日：2025-02-28

申请号：CN202510097217.7

申请日：2025-01-22

Applicant: 中电鸿信信息科技有限公司 ,  南京邮电大学

Inventor： 沈宇 ,  黄卫东 ,  王亚东 ,  孙殿臣 ,  车少帅 ,  钟奕涵 ,  周泽慧

IPC: G06F40/194 ,  G06F40/284 ,  G06F40/30 ,  G06F40/247 ,  G06F16/35

Abstract: 本发明提出了一种基于群智感知的城市洪涝灾害风险评估方法、介质及设备，包括：收集社交平台上的洪涝灾害文本数据并进行预处理，构建洪涝灾害文本数据集；从洪涝灾害文本数据集中提取洪涝灾害常用词语，将洪涝灾害常用词语按照主题词来分类，并且基于共现网络构建灾情描述性词库；基于灾情描述性词库设计众包问卷并发布给目标用户群体，收集目标用户群体反馈的洪涝灾害反馈数据以及地理信息；将收集的洪涝灾害反馈数据根据地理信息进行空间展布；结合分别表征洪涝灾害灾情以及洪涝灾害影响区域的两类指标来进行风险评估。本发明实现了城市洪涝灾害的实时监测和精确评估，提高了洪涝灾害风险评估的准确性和实时性。