公开(公告)号：CN119399117A

公开(公告)日：2025-02-07

申请号：CN202411373767.9

申请日：2024-09-29

Applicant: 杭州电子科技大学

Inventor： 杨镇丞 ,  俞俊 ,  杨艳 ,  王显赟 ,  朱素果

IPC: G06T7/00 ,  G06V10/26 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于多视角特征融合的CBCT下颌神经管精细化分割方法。本发明首先选取CBCT影像和下颌神经管标注构成数据集；将训练集切成若干个Patch得到输入数据，并编码每个Patch的位置坐标。其次，将每个Patch与其对应的位置编码送入预分割网络模型，得到预分割结果，采用三次样条插值得到下颌管中心线。最后对CBCT与下颌管中心线进行多视角特征提取，并通过3D Attention进行特征融合，并将得到的特征进行解码，最终获得下颌管的分割结果，并进行优化训练。本发明有效融合多种视角的特征信息，确保了分割结果的精确性和完整性。

公开(公告)号：CN119360182A

公开(公告)日：2025-01-24

申请号：CN202411503456.X

申请日：2024-10-25

Applicant: 杭州电子科技大学

Inventor： 谭敏 ,  卢运杭 ,  俞俊 ,  郑雨晨 ,  王林红

IPC: G06V10/82 ,  G06V10/42 ,  G06V10/44 ,  G06V10/774 ,  G06V10/766 ,  G06T7/00 ,  G06N3/042 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/0895 ,  G06N3/096

Abstract: 本发明公开了一种基于结构特征感知的半监督头影测量关键点检测方法，首先进行数据预处理并构建数据集；然后进行二阶段检测模型构建与损失函数设计，二阶段半监督模型框架的主干网络包含两个阶段：第一阶段利用全局上下文信息通过热力图回归方法检测关键点粗略位置；第二阶段通过捕捉关键点之间的全局‑局部相关性进行精细化预测；最后通过学生网络预训练与半监督师生模型训练得到预测结果。本发明采用了由粗略到精细的二阶段检测方法预测头影测量关键点，并引入了半监督师生模型架构的迭代网络设计，在每一轮此由教师网络指导学生网络，并循环迭代网络参数得到最终预测结果。在内部数据集上的实验结果证明了该方法的有效性。

公开(公告)号：CN117236295B

公开(公告)日：2024-12-31

申请号：CN202311197701.4

申请日：2023-09-15

Applicant: 山东大学 ,  杭州电子科技大学

Inventor： 任昭春 ,  匡振中 ,  余宙 ,  俞俊 ,  高莘 ,  陈竹敏 ,  任鹏杰 ,  郭书宇 ,  郝艳宾 ,  李京知

IPC: G06F40/166 ,  G06F40/126 ,  G06F40/30 ,  G06N3/042

Abstract: 本发明公开了一种基于图神经网络的机器生成稿件可解释评价方法及系统，该方法包括：获取机器生成的多模态新闻稿件，对多模态新闻稿件内容进行编码，获取新闻稿件整体编码向量和新闻稿件要素编码向量；将新闻稿件整体编码向量和新闻稿件要素编码向量输入层次化图神经网络中，构建新闻稿件异构图，通过基于多层级注意力机制的新闻稿件异构图卷积，更新新闻稿件整体编码向量和新闻稿件要素编码向量，将更新后的编码向量拼接为新闻稿件表示矩阵，通过全连接层输出可解释评价标签预测结果。本发明设计多个可解释评价标签，并利用图神经网络聚合新闻稿件内容及评价信息，对稿件质量进行多层级、细粒度的评价，给出多模新闻稿件的可解释评价标签。

公开(公告)号：CN118553369A

公开(公告)日：2024-08-27

申请号：CN202410687876.1

申请日：2024-05-30

Applicant: 杭州电子科技大学

Inventor： 杨艳 ,  孙佳美 ,  俞俊 ,  尤晓兴 ,  彭云

IPC: G16H15/00 ,  G16H30/00 ,  G06N5/022 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明公开了一种基于知识增强跨模态语义关联的胸片报告生成方法。本发明使用视觉编码器提取影像的视觉序列；通过语言编码器提取对应报告的语言序列；从医学实体知识库中抽取与胸片紧密相关的医学实体知识，通过交叉注意力网络将医学实体知识融合到视觉序列和语言序列中。最后，将知识融合后的视觉序列和语言序列交替作为文本生成解码器的提示符号，以自回归文本生成的方式解码生成含有医学主题词的报告。本发明提出含有回溯学习的训练策略，通过提取生成报告的回溯语言序列，拉近回溯语言序列和语言序列的距离，进一步增强跨模态一致性。本发明有效地通过医学先验知识和回溯学习策略增强跨模态语义关联，适用于胸片报告生成领域。

公开(公告)号：CN114743630B

公开(公告)日：2024-08-02

申请号：CN202210347478.6

申请日：2022-04-01

Applicant: 杭州电子科技大学

Inventor： 俞俊 ,  姜威 ,  朱素果

IPC: G16H15/00 ,  G06N3/0442 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/0895

Abstract: 本发明公开了一种基于跨模态对比学习的医学报告生成方法。本发明步骤如下：1、使用ViT模型将图像切成图像块，然后使用可训练的线性投影将图像块映射到特定的特征空间中，同时添加位置保留位置信息，再输入标准的TransformerEncoder来提取图像特征；2、使用预训练好的ClinicalBERT对文本进行编码并通过全连接层将其映射到特征空间中，得到文本特征；3、将得到的图像特征和文本特征进行双塔结构的跨模态对比学习进行对齐操作；4、将得到的图像特征和文本特征输入到一个将Transformer和LSTM优势互补的框架Decoder‑L，得到每个时间步的单词概率分布；5、将得到的两个单词概率分布使用单塔结构的跨模态对比学习进行对齐。本发明将Transformer和LSTM进行优势互补，更好的捕捉句子生成的长期和短期依赖。

公开(公告)号：CN114549901B

公开(公告)日：2024-05-14

申请号：CN202210172188.2

申请日：2022-02-24

Applicant: 杭州电子科技大学

Inventor： 王一琳 ,  匡振中 ,  丁佳骏 ,  顾晓玲 ,  俞俊

IPC: G06V10/764 ,  G06V10/82 ,  G06N3/0475 ,  G06N3/0464 ,  G06N3/084 ,  G06N3/096

Abstract: 本发明公开了一种多网络联合辅助生成式知识蒸馏方法，首先进行图像分类数据集预处理；然后根据确定的图像分类数据集选择教师网络模型并训练；再根据确定的图像分类数据集选择困难样本生成器G1和学生网络，组成对抗知识蒸馏框架；建立生成对抗知识蒸馏的目标函数；对组建好的对抗知识蒸馏框架进行迭代训练；最后引入简单样本生成器G2，使用困难样本生成器G1和简单样本生成器G2交替调整学生网络，得最终结果。本发明额外引入了一个简单样本生成器，并且简单样本生成器直接复制训练好的困难样本生成器，并没有增加计算量，而且操作简单。在简单样本生成器帮助学生网络回顾简单样本的情况下，最终在目标任务上取得了更好的效果。

公开(公告)号：CN117894085A

公开(公告)日：2024-04-16

申请号：CN202410019039.1

申请日：2024-01-05

Applicant: 杭州电子科技大学

Inventor： 周珣 ,  蔡丰锦 ,  孙康强 ,  匡振中 ,  顾晓玲 ,  俞俊

IPC: G06V40/50 ,  G06V40/16 ,  G06V10/44 ,  G06V10/80 ,  G06V10/82 ,  G06F21/62 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/0475 ,  G06N3/094 ,  G06N3/084 ,  G06N3/0985

Abstract: 本发明提出了一种基于扩散模型的对抗识别人脸身份隐私保护方法及系统。本发明解决本发明方法如下：步骤1：数据预处理；步骤2：构建信息提取器；步骤3：构建基于条件扩散模型的人脸生成网络；步骤4：构建人脸图像生成损失函数；步骤5：将数据集进行步骤1的预处理后，输入步骤2构建信息提取器，结合步骤3的人脸生成网络与步骤4的人脸图像生成损失函数共同完成训练，并进行测试。本发明以提取的非身份信息以及残差网络提取的代理身份信息作为条件，通过扩散模型与Transformer将原始身份替换为代理身份并生成一张全新的人脸图像，使得结果图与原图在视觉上尽可能相似，但是其在特征空间中的身份变成了代理人脸的身份，从而实现对人脸的隐私保护。

公开(公告)号：CN112581360B

公开(公告)日：2024-04-09

申请号：CN202011609567.0

申请日：2020-12-30

Applicant: 杭州电子科技大学

Inventor： 俞俊 ,  牛豪康 ,  高飞

IPC: G06T3/04 ,  G06T11/00 ,  G06V10/25 ,  G06V10/44 ,  G06V10/80 ,  G06V10/82 ,  G06N3/042 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/0475 ,  G06N3/094 ,  G06N3/0985

Abstract: 本发明公开了一种结构约束的多风格图像美学质量增强方法。本发明步骤如下：(1)将输入图像数据转换为LAB空间的向量；(2)将转化为LAB空间的向量输入增强网络中，增强网络包含两个结构调整网络和像素调整网络；其中结构调整网络用于提升构图美观性；像素调整网络通过调整每个像素的数值，进一步调整图像的色彩和光影效果；(3)对提取的特征进行精进处理；将增强网络输出的特征输入精进网络中，得到最终输出的美学质量增强图像；(4)多尺度的多分布约束判别网络；采用多尺度的多分布约束判别网络来优化增强网络和精进网络，提高最终输出的美学质量增强图像的质量。本发明的结构调整网络可以自动提取最优的n个美化区域，而无需人为干预。

公开(公告)号：CN112232134B

公开(公告)日：2024-04-05

申请号：CN202010991889.X

申请日：2020-09-18

Applicant: 杭州电子科技大学

Inventor： 俞俊 ,  董谢娜

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/80 ,  G06V10/52 ,  G06V10/42 ,  G06V10/44 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/084 ,  G06N3/048

Abstract: 本发明公开了一种基于沙漏网络结合注意力机制的人体姿态估计方法。本发明步骤如下:步骤(1)、在沙漏模块前面我们把加入一条分支计算非局部注意力特征，并把这个注意力特征融入主分支。我们称之为全局注意力模块。步骤(2)、在沙漏模块后面我们把输出分成若干通道分别做注意力计算得到每个通道的特征作为输出。我们称之为局部注意力模块。步骤(3)、通过反向传播算法对网络参数进行训练，直至整个网络模型收敛。本发明解决了原来模型的人际间关节的干扰和自我关节的干扰的问题。人体姿态估计在基于图像或视频分析人类行为中起着重要作用，准确高效的人体姿势估计可以促进各种应用，提出的改善方法使得原模型最终的检测效果得到提升。

公开(公告)号：CN117726826A

公开(公告)日：2024-03-19

申请号：CN202311417683.6

申请日：2023-10-30

Applicant: 杭州电子科技大学

Inventor： 俞俊 ,  程昱晨 ,  匡振中 ,  余宙 ,  池陈宇 ,  李朋 ,  尤晓兴

IPC: G06V10/40 ,  G06V20/40 ,  G06N5/022 ,  G06F16/31 ,  G06F40/289 ,  G06F40/216 ,  G06F16/951 ,  G06F40/186

Abstract: 本发明公开了一种面向新闻报导的多场景AI辅助写稿方法，包括如下步骤：多源新闻素材预处理；根据文本素材训练实体抽取模型；利用实体抽取模型构建事件图谱；新闻报道场景选取，所述新闻报道场景包括典型场景和非线性复杂场景；新闻稿件AI辅助创作；典型新闻报道场景下提供基于模板的快速辅助成稿功能；非线性复杂新闻报导场景下提供基于大语言模型、跨模态技术的多种AI辅助成稿功能。新闻稿件辅助审核，提供基于百度AI开放平台的稿件审核功能。该方法涵盖选材、创作、审核的全流程新闻稿件辅助写作方法，可大幅提升新闻稿件创作效率。