公开(公告)号：CN116091961A

公开(公告)日：2023-05-09

申请号：CN202211643076.7

申请日：2022-12-20

Applicant: 北京工商大学

Inventor： 刘瑞军 ,  张跃 ,  张佳玉 ,  王晓川

IPC: G06V20/40 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/08

Abstract: 本申请公开了一种语义引导的基于transformer的部分非自回归视频描述生成方法。所述方法将输入视频分割为片段，获取视觉特征后送入基于transformer的视频描述模型，通过部分非自回归的方式，即自回归生成组成描述语句词组中的单词，非自回归生成组成描述语句的词组。为适应视频中对象动作不明显的应用场景，生成更加准确的描述语句，本申请在生成语句描述之前，加入语义引导方法，即利用多标签分类方法，通过视频视觉特征获取能够代表视频内容的重要词汇，为生成描述提供指导作用。与现有视频描述方法相比，该方法能够更加快速的生成清晰准确的描述语句，能够更好的适应实际场景中的应用。

公开(公告)号：CN113505740A

公开(公告)日：2021-10-15

申请号：CN202110849654.1

申请日：2021-07-27

Applicant: 北京工商大学

Inventor： 黄先开 ,  蔡志彬 ,  韩致远 ,  张跃

IPC: G06K9/00 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于迁移学习和卷积神经网络的面部识别方法，包括：建立VGG‑16模型并对其进行训练得到训练后的VGG‑16模型，将其迁移至暹罗网络中，对训练后的VGG‑16模型进行微调得到微调后的VGG‑16模型；在暹罗网络中输入一对待判断的图像，微调后的VGG‑16模型分别提取出第一面部图像的特征向量和第二面部图像的特征向量，根据特征向量计算欧几里德距离；根据欧几里德距离得到预测值；若预测值为0，则第一面部图像与第二面部图像属于同一个人；若预测值为1，则第一面部图像与第二面部图像不属于同一个人。通过将VGG‑16模型迁移至暹罗模型中，权重在并行的卷积神经网络之间共享，提高人脸识别效率。

公开(公告)号：CN113505740B

公开(公告)日：2023-10-10

申请号：CN202110849654.1

申请日：2021-07-27

Applicant: 北京工商大学

Inventor： 黄先开 ,  蔡志彬 ,  韩致远 ,  张跃

IPC: G06V40/16 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于迁移学习和卷积神经网络的面部识别方法，包括：建立VGG‑16模型并对其进行训练得到训练后的VGG‑16模型，将其迁移至暹罗网络中，对训练后的VGG‑16模型进行微调得到微调后的VGG‑16模型；在暹罗网络中输入一对待判断的图像，微调后的VGG‑16模型分别提取出第一面部图像的特征向量和第二面部图像的特征向量，根据特征向量计算欧几里德距离；根据欧几里德距离得到预测值；若预测值为0，则第一面部图像与第二面部图像属于同一个人；若预测值为1，则第一面部图像与第二面部图像不属于同一个人。通过将VGG‑16模型迁移至暹罗模型中，权重在并行的卷积神经网络之间共享，提高人脸识别效率。

公开(公告)号：CN116245885A

公开(公告)日：2023-06-09

申请号：CN202211643044.7

申请日：2022-12-20

Applicant: 北京工商大学

Inventor： 刘瑞军 ,  张跃 ,  张佳玉 ,  王晨

IPC: G06T7/10 ,  G06V10/26 ,  G06N3/0464 ,  G06N3/08

Abstract: 本申请公开了一种基于多分支融合的图像全景分割方法。所述方法将包括有特征提取模块、注意力机制模块、语义分割模块、实例分割模块以及辅助细化模块。将图像输入到基本的backbone网络进行特征提取。然后，使用针对不同任务的特征金字塔网络(FPN)进一步加强特征提取，分别使用注意力机制对不同特征权重进行重新分配。之后，使用更加精细的语义分割模块的结果来对实例分割模块的背景区域进行剔除。最后，将两个分割模块结果进行融合，得到最后的图像全景分割结果。

公开(公告)号：CN113505581A

公开(公告)日：2021-10-15

申请号：CN202110849014.0

申请日：2021-07-27

Applicant: 北京工商大学

Inventor： 黄先开 ,  张佳玉 ,  张跃

IPC: G06F40/205 ,  G06F16/35 ,  G06N3/04 ,  G06N3/08

Abstract: 本申请公开了一种基于APSO‑LSTM网络的教育大数据文本分析方法，采集原始数据，形成数据集，数据集包括第一原始数据集和第二原始数据集；预处理第一原始数据集，得到文本数据集；利用Skip‑Gram模型训练文本数据集，得到词向量集；对词向量集标上情感标签，形成样本数据集，样本数据集包括训练集；利用训练集训练APSO‑LSTM网络模型，得到文本情感分析模型；将第二原始数据集输入至文本情感分析模型后，将第二原始数据集中的原始数据的分类结果各自保存成文本文件；利用Word2Vec模型训练文本文件得到正负情感倾向的关键词；根据关键词生成情感分析报告，为网络在线教育的改进提供依据。

公开(公告)号：CN113506027A

公开(公告)日：2021-10-15

申请号：CN202110849982.1

申请日：2021-07-27

Applicant: 北京工商大学

Inventor： 黄先开 ,  张佳玉 ,  韩致远 ,  张跃

IPC: G06Q10/06 ,  G06Q50/20

Abstract: 本发明公开了一种基于学生视觉注意及教师行为的课程质量评估与提升方法，本申请通过眼动仪获取学生的教师的注意信息，通过摄影设备对教师课堂进行记录，利用TensorFlow API框架目标检测与眼动仪相结合的测量方法，实时获取眼球跟踪点与佩戴者的距离，以获取使用者实时的注视信息，并对视频内容进行分析，与眼动坐标相关联，获取学生注意信息与教师行为与课堂重点内容的关系。