公开(公告)号：CN118015162B

公开(公告)日：2024-06-14

申请号：CN202410425334.7

申请日：2024-04-10

Applicant: 哈尔滨工业大学(威海)

Inventor： 张盛平 ,  李宗霖 ,  柳青林 ,  孟权令 ,  吕晓倩 ,  王晨阳

IPC: G06T13/40 ,  G06N3/0455 ,  G06N3/0464

Abstract: 本发明公开了一种基于语音韵律学分解的三维数字人头部动画生成方法，包括以下步骤：通过语言内容、风格和基础频率编码器分别提取音频中的三者相关的潜在变量；通过周期位置编码获得额外的时序信息，使用跨模态偏差多头自注意力模块增强对于长动作序列的泛化性能；计算跨模态的对齐偏差并通过多头注意力模块对齐多模态信息，实现三维数字人头部动画中的唇部动作生成；通过基于Transformer的动作变分自编码器将唇部动作序列映射到低维潜在空间，设计条件概率扩散模型实现基于基础频率的三维数字人头部动画中的头部动作生成。本发明更加深层次挖掘了语音中韵律部分同唇部动作的关系，实现了更加高效的唇部动作序列生成。

公开(公告)号：CN113673621A

公开(公告)日：2021-11-19

申请号：CN202111001354.4

申请日：2021-08-30

Applicant: 哈尔滨工业大学(威海)

Inventor： 张盛平 ,  郭佳宇

IPC: G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于卷积神经网络和MAML算法的类圆目标检测方法，包括以下步骤：首先，收集并标注类圆目标图像数据集；划分收集的数据集以便进行不同的子任务；将训练集中的图像进行数据增强；分别使用大目标检测数据集BO、小目标检测数据集SO、高分辨率检测数据集HR、低分辨率检测数据集LR训练大目标检测模型、小目标检测模型、高分辨率检测模型、低分辨率检测模型；使用MAML算法学习到最有潜力的类圆检测模型；将不同的测试样本送入训练好的模型中进行推理得出检测结果。

公开(公告)号：CN109165658B

公开(公告)日：2021-08-13

申请号：CN201810986082.X

申请日：2018-08-28

Applicant: 哈尔滨工业大学(威海)

Inventor： 张盛平 ,  吕晓倩 ,  孙嘉敏 ,  董开坤 ,  朴学峰 ,  孙鑫 ,  张维刚

IPC: G06K9/46 ,  G06K9/62 ,  G06N3/04

Abstract: 本发明公开了一种基于Faster‑RCNN的强负样本水下目标检测方法，包括以下步骤：获取目标图像数据集，将目标图像输入卷积神经网络进行前向传播至共享的卷积层得到低维特征图；将获取的低维特征图一路输入至RPN网络得到正负样本及坐标，另一路继续前向传播得到高维特征图；对获取的与Ground Truth不相交的负样本进行图像求均值处理，实现基于图像亮度特征的相似度比较，完成与正样本相似的假负样本的筛除；将正样本、获取的筛选后的负样本与高维特征图共同输入到ROI Align层，提取正负样本建议区域的特征；将获取的建议区域特征传入全连接层，输出该区域的分类得分及回归后的坐标值。

公开(公告)号：CN112070158A

公开(公告)日：2020-12-11

申请号：CN202010932329.7

申请日：2020-09-08

Applicant: 哈尔滨工业大学(威海)

Inventor： 张盛平 ,  郑顺源 ,  胡良校

IPC: G06K9/62 ,  G06K9/44 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于卷积神经网络和双边滤波的面部瑕疵检测方法，包括以下步骤：为人脸图像数据标注真实标签以用于卷积神经网络的训练；对训练样本进行随机裁剪，并对瑕疵区域进行过采样；将剪裁所得的图像进行数据增强；通过对彩色图像进行双边滤波，并计算与原始图像的残差以提取图像的高频特征图；分别将彩色图像与高频特征图输入卷积神经网络，经过输入层的特征提取后进行特征融合；构建面部瑕疵检测的卷积神经网络模型，在浅层卷积模块中加入基于多尺度非对称空洞卷积改进的SE模块。本发明可以有效地回归出图像每一像素点属于瑕疵的概率，从而得到更好的面部瑕疵检测结果。