公开(公告)号：CN116229482A

公开(公告)日：2023-06-06

申请号：CN202310283922.7

申请日：2023-03-22

Applicant: 华北水利水电大学 ,  中原工学院

Inventor： 魏富鹏 ,  刘星 ,  郑秋生 ,  乔亚琼 ,  姜维 ,  陈紫薇 ,  张政 ,  牛利月 ,  刘济宗 ,  王尚首

IPC: G06V30/19 ,  G06V30/18 ,  G06V20/40 ,  G06V10/42 ,  G06V10/82 ,  G06N3/08 ,  G06F40/232 ,  G06F40/242 ,  G06N3/0464

Abstract: 本发明提出了一种网络舆情分析中视觉多模态文字检测识别及纠错方法，步骤如下：对网络舆情相关数据中文字进行标注构建数据集；提取数据集中舆情图像的图像特征、视频中关键帧的图像特征，对舆情图像的图像特征和视频中关键帧的图像特征进行信息编码；文字检测模块对多模态特征编码信息进行检测，文本识别模块将带有字符的文本序列转化为文本；采用舆情领域词库和Transformer网络对得到的文本信息进行纠错，得到文字纠错模型；对文字纠错模型进行训练，对识别出的文本信息进行纠错。本发明能够有效挖掘图像、视频中文本行的上下文信息，达到了更精准的舆情多模态数据中的文字提取效果；对文字识别的结果适当纠错，从而达到更好的预期效果。

公开(公告)号：CN118194962A

公开(公告)日：2024-06-14

申请号：CN202311209098.7

申请日：2023-09-19

Applicant: 华北水利水电大学

Inventor： 乔亚琼 ,  李柱洲 ,  魏富鹏 ,  韩珂 ,  焦奥博 ,  魏琼亚 ,  朱帅辉

IPC: G06N3/0895 ,  G06N3/0464 ,  G06N3/042 ,  G06F17/16 ,  G06F18/241 ,  G06Q50/00

Abstract: 本发明提出了一种基于半监督学习的社交媒体用户定位方法，步骤为：选取真实的推特数据作为数据集，并对数据集进行预处理；采用TF‑IDF算法提取预处理后的文本数据的文本特征，构建用户文本视图；根据用户之间的社交关系构建用户的社交关系图；利用图卷积扩散算法改进社交关系图，得到稀疏图；根据用户文本视图和稀疏图，基于GCN构建用户定位模型；利用数据集对用户定位模型进行训练；将测试数据输入训练后的用户定位模型，用户定位模型的softmax层输出预测得到的用户地理位置标签。本发明能够结合大量不带地理标记的数据对用户位置进行预测；同时结合图卷积扩散算法对构造的社交关系图进行改进，从而提高地理定位的准确性。

公开(公告)号：CN117312577A

公开(公告)日：2023-12-29

申请号：CN202311480464.2

申请日：2023-11-08

Applicant: 华北水利水电大学 ,  中原工学院

Inventor： 魏富鹏 ,  刘星 ,  施歌 ,  乔亚琼 ,  郑秋生 ,  姜维 ,  陈紫薇 ,  权高原

IPC: G06F16/36 ,  G06F40/30 ,  G06N3/0464 ,  G06F18/214

Abstract: 本发明提出了一种基于多层语义图卷积神经网络交通事件知识图谱构建方法，其步骤如下：采用自顶向下的方式定义事件本体的分层体系，设计本体模型；从公开数据集官网上下载中英文数据集，收集并整理真实的高校交通风险事件的文本和图像数据，构建知识图谱数据集；以OneRel模型为基础模型，构建事件抽取模型；利用多层语义图卷积神经网络学习知识图谱数据集的全局语义和句法图嵌入表示信息，训练事件抽取模型；构建高校交通安全事件知识图谱并进行可视化展示。本发明融合全局语义依存分析图和句法分析图，提高远距离实体的精确识别；构建多层语义图卷积神经网络捕获更深层次的实体关系语义隐藏信息，构建出较完整的高校交通安全事件知识图谱。

公开(公告)号：CN116385930A

公开(公告)日：2023-07-04

申请号：CN202310352065.1

申请日：2023-04-04

Applicant: 华北水利水电大学

Inventor： 魏富鹏 ,  杨梦凡 ,  乔亚琼 ,  吴慧欣 ,  姜维 ,  李家辉

IPC: G06V20/40 ,  G06V20/70 ,  G06V10/82 ,  G06V10/80 ,  G06N3/0464 ,  G06N3/049 ,  G06N3/0985

Abstract: 本发明提出了一种基于超参数优化的时间差分网络的异常行为检测方法，对异常行为视频进行标注构建短视频数据集；稀疏采样得到图像序列；将图像序列输入局部模型得到局部特征；将局部特征输入全局模型获得全局特征；通过加权平均对不同时间段的深度特征进行融合；选择可能性最高的分类作为最终的预测分类；通过超参数优化自动选择S‑TDM模块和L‑TDM模块的TDN网络的超参数和网络层数得到异常行为检测的最优化模型；使用最优化模型对任意视频进行切段处理得到每个视频小段对应的预测分类，从而实现对学生异常行为的实时监控。本发明采用可自动寻优的超参数优化技术，无需人为设置模型的超参数，实现对异常行为的识别与分类。

公开(公告)号：CN116795836A

公开(公告)日：2023-09-22

申请号：CN202310568907.7

申请日：2023-05-19

Applicant: 华北水利水电大学

Inventor： 乔亚琼 ,  吴慧欣 ,  李家辉 ,  魏富鹏 ,  孟尧

IPC: G06F16/22 ,  G06F16/215 ,  G06F16/29 ,  G06F16/28 ,  G06F40/216 ,  G06N3/0464 ,  G06F16/335

Abstract: 本发明提出了一种基于异质图和图卷积神经网络的推特用户位置推断方法，步骤为：对收集的样本数据进行预处理；根据训练集的样本数据中的位置数据构建搜索树，对训练集中的用户进行位置类别分配；根据搜索树对测试集中的用户分配位置区域；计算用户节点与用户推文中单词节点之间的TF‑IDF值；计算单词节点之间的PPMI值；构建包含用户节点和单词节点的异质图；使用GCN来训练位置推断模型，通过训练后的GCN模型可以得到用户的向量嵌入表示，对于每个用户的向量嵌入表示使用softmax函数可以得到用户的位置类别概率。本发明基于异质图和图卷积神经网络学习用户社交文本的特征，有利于提高推特用户位置推断中基于文本的用户位置推断结果的准确性。