公开(公告)号：CN117765432A

公开(公告)日：2024-03-26

申请号：CN202311558506.X

申请日：2023-11-21

Applicant: 南京邮电大学

Inventor： 刘峰 ,  王慧 ,  宋婉茹

IPC: G06V20/40 ,  G06V10/44 ,  G06V40/20 ,  G06V10/764 ,  G06T7/269 ,  G06V10/80 ,  G06V10/82 ,  G06V10/56 ,  G06N3/042 ,  G06N3/044 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/049 ,  G06N3/0895

Abstract: 本发明提供一种基于动作边界预测的中学理化生实验动作检测方法，包括：获取待测实验视频；利用特征提取网络对待测实验视频进行特征提取得到视频特征；利用边界匹配网络对视频特征进行边界匹配得到动作开始时间和结束时间组合成的时序片段；边界匹配网络包含两个支路，在第一支路中，经过时序卷积处理后，对每一帧使用可学习的高斯分布进行建模，区分背景帧和动作帧，得到起始边界概率序列；在第二支路中处理得到动作起始位置匹配的二维置信度图，将起始边界概率序列和动作起始位置匹配的二维置信度图通过后处理得到时序片段；最后利用片段分类网络对时序片段进行分类，得到实验动作检测结果。本发明有效提升了片段生成效率及动作检测的准确率。

公开(公告)号：CN118397640A

公开(公告)日：2024-07-26

申请号：CN202410454108.1

申请日：2024-04-16

Applicant: 南京邮电大学

Inventor： 刘峰 ,  张仟凤 ,  宋婉茹

IPC: G06V30/246 ,  G06V30/244 ,  G06V30/18 ,  G06V30/19 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464

Abstract: 本发明公开了一种基于改进Transformer的手写英文识别方法、系统，该方法包括获取手写英文图像，对该图像进行预处理，得到单词图像和单词图像文本标签；构建预设编码模块、预设解码模块和预设分析模块；利用预设编码模块得到视觉特征矩阵和语义特征矩阵；将视觉特征矩阵和语义特征矩阵对齐，输入预设解码模块，得到联合反向残差特征矩阵；将联合反向残差特征矩阵输入预设分析模块，获得预测概率分布，对预设编码模块、预设解码模块和预设分析模块进行调整；利用调整后的模块，选取每个英文字母类别中概率最高的标记作为手写英文识别的预测结果。本发明对手写英文图像进行双模态处理，完善了手写英文识别任务的处理，有效提高了手写英文识别的准确率。

公开(公告)号：CN119942641A

公开(公告)日：2025-05-06

申请号：CN202510009896.8

申请日：2025-01-03

Applicant: 南京邮电大学

Inventor： 刘峰 ,  黄弘博 ,  宋婉茹

IPC: G06V40/20 ,  G06V10/44 ,  G06V10/80 ,  G06V10/764 ,  G06V10/82 ,  G06V10/766 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明提出了一种基于Mamba2和双向特征金字塔的视频时序动作检测方法，包括以下步骤：(1)通过预训练的特征提取器从输入视频序列中提取特征；(2)构建基于Mamba2和双向特征金字塔的时序动作检测模型，堆叠L个基于Mamba2的模块构成双向特征金字塔网络，对输入的视频特征进行编码，提取关键信息；(3)将输出的多尺度特征送入到回归头和分类头中，解码获得检测结果，即输入视频中动作实例的类别标签、开始时刻和结束时刻。本发明通过使用Mamba2模型以及双向特征金字塔网络，有效提高了检测不同时间尺度动作的能力以及减小了计算复杂度。

公开(公告)号：CN117636123A

公开(公告)日：2024-03-01

申请号：CN202311592047.7

申请日：2023-11-27

Applicant: 南京邮电大学

Inventor： 刘峰 ,  李子文 ,  宋婉茹

IPC: G06V10/82 ,  G06V10/774 ,  G06V10/40 ,  G06V10/80 ,  G06N3/0464 ,  G06N3/09 ,  G06N3/088

Abstract: 本发明公开了一种基于半监督目标检测的实验仪器检测方法，包括构建教师模型和学生模型，采集实验仪器数据，构建带标签数据集和无标签数据集获得有监督数据和无监督数据，将该数据分别输入到学生模型和教师模型进行训练，教师模型生成带伪标签图像指导学生模型训练，学生模型的参数变化传递给教师模型；使用自适应损失函数训练学生模型得到最终检测器进行图片预测，获得检测结果。本发明有效缓解了现实场景中大量标注数据获取不易的问题，使用的教师学生模型采用轻量级一阶段目标检测网络减小了运算量，引入的混合自注意卷积提高了小目标检测精度。

公开(公告)号：CN119692305A

公开(公告)日：2025-03-25

申请号：CN202411859282.0

申请日：2024-12-17

Applicant: 南京邮电大学

Inventor： 刘峰 ,  庄栋 ,  宋婉茹

IPC: G06F40/109 ,  G06V30/244 ,  G06V30/19 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/0499 ,  G06N3/08

Abstract: 本发明提供独立处理风格和内容特征相结合的中文手写字体迁移方法，包括步骤一：对输入的手写风格样本进行预处理，后利用风格编码器进行风格样本处理，获取书写风格特征和字符风格特征；步骤二：确定需要生成手写风格的文本内容，利用内容编码器获取文本内容的内容特征；步骤三：将所述书写风格特征、字符风格特征以及内容特征利用特征拼接的方式进行融合，结合解码器自回归的生成手写风格的文本内容；步骤四：利用损失函数对步骤一至步骤三的生成过程进行优化监督。本发明的方法将书写风格表示解耦为整体书写级别和字符级别，在文字迁徙时即考虑了整体上的一致性，又考虑了字符的细节部分小的变化，增强了中文手写字体迁徙生成的性能。

公开(公告)号：CN115909407A

公开(公告)日：2023-04-04

申请号：CN202211523543.2

申请日：2022-12-01

Applicant: 南京邮电大学

Inventor： 刘峰 ,  邓可欣 ,  宋婉茹 ,  赵峥来

IPC: G06V40/10 ,  G06V10/42 ,  G06V10/44 ,  G06V10/80 ,  G06V10/82 ,  G06N3/08 ,  G06N3/0464

Abstract: 本发明公开了一种基于人物属性辅助的跨模态行人重识别方法，包括：获取行人图像数据，对跨模态数据集进行人物属性标注；采用以双流网络形式呈现的ResNet50作为主干网络进行特征提取；接着将双流网络输出的特征进行平均池化操作后采用多层次融合方案进行特征融合，选取最优结果作为网络的融合层；将属性划分为全局属性和局部属性，监督网络学习属性辅助的全局特征和局部特征，结合所设计的损失函数，对模型进行训练和测试，得到跨模态行人重识别最终的识别准确率。本发明考虑了将人物属性的辅助研究以及全局‑局部特征的研究结合起来，能够有效提高识别的准确率。