基于音频驱动的数字人脸视频生成方法

    公开(公告)号:CN118864665A

    公开(公告)日:2024-10-29

    申请号:CN202410852086.4

    申请日:2024-06-28

    Abstract: 本发明属于计算机视觉和语音处理领域,涉及了Wav2Lip模型、对抗生成网络等模型架构,具体是指一种基于音频驱动的数字人脸视频生成方法,包括优化Wav2Lip模型过程,并以优化后的Wav2Lip模型生成视频,其特征在于,优化Wav2Lip模型过程获得模型优化后的权重文件,将对使用梅尔频谱和MFCC融合的方式进行音频特征的提取,生成的视频帧不变,然后使用GAN网络学习音频‑图像对之间的映射关系,Wav2Lip模型中的生成器网络负责生成逼真的嘴唇动作,将得到的权重文件保存为最终的训练结果,作为Wav2Lip模型优化后的最终成果。该方法最终生成的视频不仅具有更高的视觉质量,也提升了用户体验,使得模型在实际应用中更具实用性和广泛的适用性。

    一种基于知识提取的轻量型摘要生成方法

    公开(公告)号:CN116341541A

    公开(公告)日:2023-06-27

    申请号:CN202310330015.3

    申请日:2023-03-30

    Abstract: 本发明公开了一种基于知识提取的轻量型摘要生成方法,包括文本模型的生成和文本模型的调用两个阶段。第一阶段包括文本数据的清洗与预处理;文本模型的创建;文本模型的训练与调优;文本模型的生成与获取。第二阶段包括:用户输入待生成摘要的长文本;提取用户输入长文本的特征;调用文本模型;生成用户输入的长文本的摘要。第一阶段采用机器学习的算法搭建文本模型,将提取的特征输入模型,对模型进行训练,自动优化训练参数,使模型更加准确。第二阶段,对用户输入的待生成摘要的长文本进行特征提取,调用第一阶段生成的模型,生成对应的文本摘要。本发明应用型强,应用范围广,尤其在新闻处理、文案处理等方面将会有很大的应用。

    整合目标检测和图像分割为一体的智能分割方法

    公开(公告)号:CN107403183A

    公开(公告)日:2017-11-28

    申请号:CN201710598586.X

    申请日:2017-07-21

    CPC classification number: G06K9/4671 G06K9/6296

    Abstract: 本发明公开了一种整合目标检测和图像分割为一体的智能分割方法,该方法利用神经网络提取的高维度特征将目标提取出来,由于基于深度学习的目标检测网络Faster-RCNN具有高效性,能快速准确的将目标区域识别出来,因此可以利用该特性先将目标感兴趣区域提取出来,然后再有针对性的对该区域进行目标分割。本发明方法能够自动检测并提取感兴趣区域,能够减少GPU计算资源的占用,快速准确的将目标分割出来;在图像数量规模巨大的情况下,该方法具有高效的实施性,能够减少人工交互的过程。

    一种自动的非封闭隐式曲面重建方法

    公开(公告)号:CN102881047A

    公开(公告)日:2013-01-16

    申请号:CN201210270917.4

    申请日:2012-08-01

    Inventor: 温佩芝 宁如花

    Abstract: 本发明公开了一种自动的非封闭隐式曲面重建方法,其特征在于其步骤包括:1)采用隐式曲面三维重建方法将输入的非封闭点云数据模型生成三角网格曲面模型;2)初始化三角网格曲面三角点;3)选取比对的样本三角点;4)计算样本三角点与输入原始点的平均最大距离,将其设为分割阈值;5)利用分割阈值对重建生成的三角网格曲面进行自动分割,删除非实体上不合理的三角面片,得到边缘光顺正确的非封闭曲面。本发明采用Poisson曲面重建方法完成。该方案弥补了现有隐式曲面重建技术无法对非封闭曲面进行自动准确重建的缺陷,该方法重建得到的非封闭曲面边缘光顺准确、效率高且鲁棒性强,有效解决了非封闭曲面重建的技术难题。

    基于对比注意力机制的中文摘要生成方法

    公开(公告)号:CN116402047A

    公开(公告)日:2023-07-07

    申请号:CN202310330003.0

    申请日:2023-03-30

    Abstract: 本发明公开了基于对比注意力机制的中文摘要生成方法,包括了训练生成模型和使用生成模型两个阶段。第一个阶段包括数据的预处理,生成模型的构建,训练生成模型,获得生成模型。第二个阶段包括接收用户的数据,调用摘要生成模型生成摘要。第一阶段采用对比注意力机制训练模型,提高了模型的泛化能力和可解释性,提升了生成摘要的质量,可以用于生成多样化的摘要。第二阶段,接收用户的数据,再调用训练好的生成模型,生成可读性高的摘要。本发明可以提高摘要生成的性能,使得生成的摘要更加符合人类语言习惯,更具有可用性和实用性。

    改进的全卷积神经网络的陶瓷材质件序列图像分割方法

    公开(公告)号:CN106920243B

    公开(公告)日:2019-12-17

    申请号:CN201710141353.7

    申请日:2017-03-09

    Abstract: 本发明提出了一种改进的全卷积神经网络的陶瓷材质件序列图像分割方法,包括步骤:S10:对采集的原始图像进行手工标注,将目标和背景用不同的类别区分,得到训练标签,采用索引模式来表示训练样本的标签图;S20:构建改进的基于全卷积神经网络的网络模型,进行训练;S30:依据梯度下降算法计算损失函数和反向传播计算损失函数,对网络进行训练学习,学习速率在验证准确率停止增加时减小为原来的十分之一。全卷积神经网络是基于卷积神经网络的改进结构,在保持CNN良好的分类性能的基础上,更好的保持了像素矩阵之间的空间位置关系,更有利于全局的特征提取,能全面学习物体的视觉特征,抗干扰性好,可自动将目标物体从背景中分割开,实现智能分割。

    基于K-means聚类和蚁群算法的多级异构无线传感器网络分簇路由方法

    公开(公告)号:CN105072656A

    公开(公告)日:2015-11-18

    申请号:CN201510404338.8

    申请日:2015-07-10

    CPC classification number: Y02D70/30 H04W40/02 H04W40/10 H04W84/18

    Abstract: 本发明公开了提出的一种基于K-means聚类和蚁群算法(ant colony optimization, ACO)的分簇路由协议(K-means clustering and ACO optimal routing,即KCAOR协议)。在多级异构无线传感器网络环境下,首先由最优簇首个数公式确定监测区域内的最佳簇域数量,然后采用K-means聚类方法将网络中的节点自然聚集成相应的簇域;提出簇域均匀优化策略,实现网络能耗的均匀分布,再根据簇内节点的剩余能量值选举簇首;采用蚁群算法确定簇首与基站之间的多跳最优路由,均衡簇首之间的能量消耗;在数据传输的末轮,通过增加节点状态包,基站能够实时掌握网络的运行情况,实现协议的优化。本发明能够有效均衡网络的能量消耗,延长生存时间,提高无线传感器网络的性能。

    一种结合热力图通道及改进U-Net的图像分割方法

    公开(公告)号:CN110232693A

    公开(公告)日:2019-09-13

    申请号:CN201910507527.6

    申请日:2019-06-12

    Abstract: 本发明公开了一种结合热力图通道及改进U-Net的图像分割方法,步骤为:1)获取一副原始图像;2)对原始图像进行预处理,获得热力图;3)构建多尺度卷积模块,对U-Net网络结构进行改进;4)将步骤2)预处理完成的热力图输入改进后的U-Net网络结构中进行图像分割,得到分割后的图像。该方法将多尺度卷积模块和热力图通道加入到U-Net网络结构中,该方法相较于传统的U-Net模型,增加了多尺度卷积模块、热力图通道,不仅能够得到完整的特征信息还能有效的提高目标边缘处的精度,使边缘更加平滑。

    基于K-means聚类和蚁群算法的多级异构无线传感器网络分簇路由方法

    公开(公告)号:CN105072656B

    公开(公告)日:2019-04-23

    申请号:CN201510404338.8

    申请日:2015-07-10

    Abstract: 本发明公开了提出的一种基于K‑means聚类和蚁群算法(ant colony optimization,ACO)的分簇路由协议(K‑means clustering and ACO optimal routing,即KCAOR协议)。在多级异构无线传感器网络环境下,首先由最优簇首个数公式确定监测区域内的最佳簇域数量,然后采用K‑means聚类方法将网络中的节点自然聚集成相应的簇域;提出簇域均匀优化策略,实现网络能耗的均匀分布,再根据簇内节点的剩余能量值选举簇首;采用蚁群算法确定簇首与基站之间的多跳最优路由,均衡簇首之间的能量消耗;在数据传输的末轮,通过增加节点状态包,基站能够实时掌握网络的运行情况,实现协议的优化。本发明能够有效均衡网络的能量消耗,延长生存时间,提高无线传感器网络的性能。

    一种自动识别真实缺陷孔洞的度量方法

    公开(公告)号:CN109509174A

    公开(公告)日:2019-03-22

    申请号:CN201811188378.3

    申请日:2018-10-12

    Inventor: 雷永庆 温佩芝

    Abstract: 本发明公开了一种自动识别真实缺陷孔洞的度量方法,1)孔洞上下文的异常检测:对孔洞上下文进行不规则测量,通过孔洞周围区域的差异量化进行聚类环境的分析,得到每个类的形状索引进而求得类间的平均形状索引,即求得上下文的异常值;2)孔洞轮廓的异常检测:计算曲线轮廓的曲率和扭力两个几何特征的变化,得到轮廓差异值;3)根据步骤1)和步骤2)得到的上下文异常值和轮廓异常值,结合得到孔洞的熵值;4)将步骤3)得到的熵值与预先设定的阈值比较,若熵值大于预先设定的阈值,则为孔洞缺陷,否则为非孔洞缺陷;该方法使该模型上的真实缺陷孔洞与非缺陷孔洞分开,解决基于体方法与基于曲面定向方法中省时省力的智能需求。

Patent Agency Ranking