-
公开(公告)号：CN113792177B
公开(公告)日：2023-02-03
申请号：CN202110896688.6
申请日：2021-08-05
Applicant: 杭州电子科技大学
IPC: G06F16/583 , G06F16/332 , G06F16/33 , G06N3/042 , G06N3/045 , G06N3/047 , G06N3/048 , G06N3/084
Abstract: 本发明公开了一种基于知识引导深度注意力网络的的场景文字视觉问答方法。本发明步骤：1、数据预处理及数据集的划分，2、构建问题的语言特征，3、构建图像的物体综合特征，4、获取图像的文本综合特征，5、构建前预测词的特征，6、构建相对空间关系特征，7、构建相对语义关系特征，8、构建深度神经网络，9、损失函数，10、训练模型，11、网络预测值计算。本发明通过建模物体对象和文本对象间的相对空间关系特征、前预测词和文本对象的相对语义关系特征，得到先验知识关系，并深度堆叠知识增强自注意力网络层数来获得更加丰富的信息，相比于先前基于卷积神经网络和构建对象间浅层关系的方法性能有了很大提升。
-
公开(公告)号：CN111007719B
公开(公告)日：2022-08-05
申请号：CN201911102180.3
申请日：2019-11-12
Applicant: 杭州电子科技大学
IPC: G05B13/04
Abstract: 本发明公开了一种基于领域自适应神经网络的自动驾驶转向角度预测方法。本发明包括以下步骤：1、获取真实场景数据集和虚拟场景数据集，数据预处理。2、使用两个参数独立但结构相同的卷积神经网络提取语义特征。3、将特征向量输入转向角度预测网络和领域分类网络并建模一组对抗性的损失函数。4、模型训练，优化损失函数。5、保留语义特征提取网络和转向角度预测网络，对模型进行测试或应用。本发明提出用一种端到端的对抗性神经网络架构实现角度预测模型从虚拟环境数据集到真实环境数据集的领域自适应，并针对此神经网络架构设计了合适的损失函数和训练方法，提高了模型在多种真实驾驶场景下的准确性和泛化性。
-
公开(公告)号：CN114743630A
公开(公告)日：2022-07-12
申请号：CN202210347478.6
申请日：2022-04-01
Applicant: 杭州电子科技大学
Abstract: 本发明公开了一种基于跨模态对比学习的医学报告生成方法。本发明步骤如下：1、使用ViT模型将图像切成图像块，然后使用可训练的线性投影将图像块映射到特定的特征空间中，同时添加位置保留位置信息，再输入标准的TransformerEncoder来提取图像特征；2、使用预训练好的ClinicalBERT对文本进行编码并通过全连接层将其映射到特征空间中，得到文本特征；3、将得到的图像特征和文本特征进行双塔结构的跨模态对比学习进行对齐操作；4、将得到的图像特征和文本特征输入到一个将Transformer和LSTM优势互补的框架Decoder‑L，得到每个时间步的单词概率分布；5、将得到的两个单词概率分布使用单塔结构的跨模态对比学习进行对齐。本发明将Transformer和LSTM进行优势互补，更好的捕捉句子生成的长期和短期依赖。
-
公开(公告)号：CN114299578A
公开(公告)日：2022-04-08
申请号：CN202111624659.0
申请日：2021-12-28
Applicant: 杭州电子科技大学
Abstract: 本发明公开了一种基于面部情绪分析的动态人脸生成方法，首先进行数据预处理，检测图像中的人脸并对齐；然后构建面部情绪分析模型，通过预处理后的人脸图像完成面部情绪分析模型的训练；最后生成动态人脸视频。本发明通过面部情绪的分析，来引导人脸的生成，为了保证面部情绪分析在真实场景的准确率，为每个样本引入了重要性权重的计算，通过将低重要性权重的样本进行重新标记，解决数据集中噪声标签的问题，使用了一种隐式语义数据增强算法，巧妙地利用深度神经网络长于学习线性化表征的性质，在特征空间完成语义扩增过程，并且几乎不引入任何额外计算或时间开销，提高了情绪分析的性能，增加了人脸生成的合理性。
-
公开(公告)号：CN113065587B
公开(公告)日：2022-04-08
申请号：CN202110309285.7
申请日：2021-03-23
IPC: G06V10/764 , G06V10/82 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于超关系学习的场景图生成方法。本发明包括以下步骤：1、通过目标自注意力网络加强目标交互，融合目标的特征。2、通过目标‑关系注意力网络加强目标和关系的交互，融合目标和关系之间的特征。3、通过超关系注意力网络去整合超关系的传递推理。4、模型训练，将目标损失函数和关系损失函数放入优化器，通过反向传播算法对网络参数进行梯度回传和更新。本发明提出一种针对场景图生成的深度神经网络，特别是提出一种超关系学习网络，充分利用目标和关系之间的交互和传递推理，提高了场景图生成中关系的推理能力，并且在场景图生成领域中的性能得到了很大的提升。
-
Patent Agency Ranking
公开(公告)号：CN110516536B
公开(公告)日：2022-03-18
申请号：CN201910630472.8
申请日：2019-07-12
Applicant: 杭州电子科技大学
Abstract: 本发明公开了一种基于时序类别激活图互补的弱监督视频行为检测方法。本发明步骤如下：1、对视频数据和视频的类别标注进行预处理，2、特征嵌入模块，来学习嵌入后的特征，3、在线生成时序类别激活图，4、生成时序类别激活图的互补激活图，5、生成检测结果，6、模型训练，利用反向传播算法训练神经网络参数。本发明提出一种弱监督时序行为检测领域中在线生成时序类别激活图并基于此生成互补激活图的方法，以及在弱监督时序行为检测中更加适用的特征嵌入结构，并且获得了目前在弱监督时序行为检测领域中的较好效果，相比于原始的时序类别激活图的方法性能有了很大提升。
-
公开(公告)号：CN114169002A
公开(公告)日：2022-03-11
申请号：CN202111485366.9
申请日：2021-12-07
Applicant: 杭州电子科技大学
Abstract: 本发明公开了一种关键点差分隐私驱动的人脸图像隐私保护方法，首先进行数据预处理，构建关键点标识匿名空间；然后构建匿名人脸生成对抗网络结构，确定匿名人脸生成对抗网络优化目标函数；获得改进后的应用于匿名人脸关键点标识的差分隐私算法；最后通过预处理后的数据集，对匿名人脸生成对抗网络进行训练，输出最终结果。本方法对图像中人脸的面部关键点结构进行修改实现人脸身份匿名，取得了更好的数据可用性和视觉效果，在生成图像质量上更高，能够保持原本的非身份属性，且不需要使用任何属性标签。
-
公开(公告)号：CN110533024B
公开(公告)日：2021-11-23
申请号：CN201910619662.X
申请日：2019-07-10
Applicant: 杭州电子科技大学
Abstract: 本发明公开了基于多尺度ROI特征的双二次池化细粒度图像分类方法。本发明如下步骤：1.使用Resnet‑34网络提取图像的深度视觉特征，并基于该特征生成掩膜；将Mask与视觉特征图进行点乘，构建图像的ROI特征；2.选取Resnet‑34网络中低层、中层、高层三种不同尺度的ROI特征，并利用改进的残差采样结构对多尺度特征进行维度变换，实现多尺度特征融合，从而提取多尺度ROI特征；3.利用多层次双二次池化结构,同时建模同层和跨层特征间的交互，并基于池化后的特征向量构建Softmax分类器；4.针对如上步骤构建端到端的网络进行训练，并利用训练好的网络对任一测试图像进行细粒度分类，输出所属类别。本发明在CUB‑200‑2011、Stanford Cars、FGVC‑Aircraft三个数据集上取得了当前领先的准确率。
-
公开(公告)号：CN113392717A
公开(公告)日：2021-09-14
申请号：CN202110558847.1
申请日：2021-05-21
Applicant: 杭州电子科技大学
Abstract: 本发明公开了一种基于时序特征金字塔的视频密集描述方法。在变换网络模型框架下，对视频进行编码的同时利用局部注意力机制获取不同分辨率的特征，然后使用多个检测头对不同分辨率的特征进行检测，实现对不同持续时间的事件的全面覆盖。在检测出可能包含事件的时间片段之后，本发明进一步地利用特征融合方式对不同分辨率的视频特征进行融合，从而为事件生成更具针对性的描述。本发明方法相比于其他方法取得了更高的准确率和召回率，同时，描述生成解码器根据融合之后的特征也生成了更高质量的描述语句，这证明了该方法的普适通用性，可在其他多模态任务中充分发挥价值。
-
公开(公告)号：CN112699816A
公开(公告)日：2021-04-23
申请号：CN202011644344.8
申请日：2020-12-30
Applicant: 杭州电子科技大学
Abstract: 本发明公开了一种基于结构推理的人脸美学评价及增强方法。本发明步骤如下：步骤(1)构建人脸美学评价网络，包括卷积神经网络结构和关键点检测网络，将两个网络输出的人脸综合特征和人脸结构特征进行融合，分别输入到两个功能不同的多层感知机中预测，分别输出美学评价结果和人脸属性信息。步骤(2)构建人脸美学增强网络，包括采用内容编码器和可变形卷积提取人脸内容特征；包括采用关键点检测网络和图注意力网络得到的人脸结构特征Ⅱ；将人脸内容特征和人脸结构特征Ⅱ进行融合，输入到解码器中，预测增强后的人脸图像。本发明可以在提升了模型对于人脸结构信息提取的基础之上，使图片美化的效果有显著的提高。
-
-
-
-
-
-
-
-
-
Search Results
197
records
(took 0.03 seconds)
