抠图模型训练方法、图像抠图处理方法、装置及介质

    公开(公告)号:CN118379321B

    公开(公告)日:2025-05-23

    申请号:CN202410476312.3

    申请日:2024-04-19

    Abstract: 本公开提供了一种抠图模型训练方法、图像抠图处理方法、装置及介质,其中,抠图模型训练方法包括以下步骤:将样本图像分别输入人像抠图模型和物体抠图模型中,得到对应的第一图像和第二图像,所述第一图像为包含人像的抠图蒙版,所述第二图像为包含物体的抠图蒙版;对所述第一图像和所述第二图像执行与操作得到所述样本图像对应的标签,所述标签为同时包含人像和物体的抠图蒙版;利用所述样本图像以及所述样本图像对应的所述标签对目标抠图模型进行训练,通过样本图像和样本图像对应的标签构建同时包含人像和物体的多主体数据集对抠图模型进行训练,使抠图模型在面对人像和物体这种多主体抠图的场景下能够得到更加准确的抠图结果。

    一种字幕生成模型设计方法、装置、存储介质和程序产品

    公开(公告)号:CN119893015A

    公开(公告)日:2025-04-25

    申请号:CN202510059091.4

    申请日:2025-01-14

    Abstract: 本发明提供一种字幕生成模型设计方法、装置、存储介质和程序产品,涉及自然语言处理技术领域。其中,字幕生成模型设计方法包括:输入一段语音和对应的正确内容,以及字幕单行最大限制字数;使用基于深度学习的人声检测模型进行人声检测;使用预训练的深度模型进行语音识别;使用所述正确内容与识别文字进行匹配、校正,得到字幕文字;根据字幕单行最大限制字数,对字幕文字进行分行、整合,得到最终字幕成果。本发明生成的字幕综合考虑实际的语音停顿及文本语言习惯,字幕与音频呈现更高的匹配度,且字幕文字更加易读;本发明同时考虑了设备限制或人为规定的字幕单行最大限制字数,进一步提高了生成字幕的可读性。

    人脸修复模型的训练方法、人脸修复方法、系统和设备

    公开(公告)号:CN119831882A

    公开(公告)日:2025-04-15

    申请号:CN202411860635.9

    申请日:2024-12-17

    Abstract: 本公开提供了一种人脸修复模型的训练方法、人脸修复方法、系统和设备,该训练方法包括:基于预先训练好的生成对抗网络蒸馏得到人脸修复模块;基于预设卷积神经网络训练得到降噪去除模块;基于通道分割特征变换层连接人脸修复模块和降噪去除模块的潜在特征,以得到目标人脸修复模型。本公开将包括深度可分离调制卷积层的人脸修复模块和包括深度可分离层的降噪去除模块连接,得到目标人脸修复模型,采用了更适合边缘设备的深度可分离卷积,显著地减小了模型的计算量和参数量,降低了计算资源消耗,提高了运行效率,更适用于边缘设备,提升了普适性。

    一种文本生成图像的方法、系统、存储介质和程序产品

    公开(公告)号:CN119478136A

    公开(公告)日:2025-02-18

    申请号:CN202411581532.9

    申请日:2024-11-06

    Abstract: 本发明提供一种文本生成图像的方法、系统、存储介质和程序产品,方法包括:对给定的待形变图像和给定的训练目标图像进行编码;对给定的文本输入进行编码;利用图像关键点提取方法,获得待形变图像和训练目标图像的图像关键点集合;利用薄板样条差值方法,获得图像关键点的变化方向;将图像关键点的变化方向和文本编码,拼接到待形变图像的编码,进行扩散模型的加噪操作;利用扩散模型的去噪操作,获得去噪后的图片编码;将去噪后的图片编码,利用可训练的解码器进行图像生成;利用生成的图像和给定的训练目标图像组成损失函数,训练解码器网络,获得薄板样条差值引导的文生图模型。本发明能够在保持位置合理性的情况下生成丰富的图像。

    一种视频未来事件预测方法、装置、存储介质和程序产品

    公开(公告)号:CN118823635A

    公开(公告)日:2024-10-22

    申请号:CN202410825520.X

    申请日:2024-06-24

    Abstract: 本发明提供一种视频未来事件预测方法、装置、存储介质和程序产品,其中方法包括以下步骤:输入视频和视频内容描述;将视频拆分为视频片段;从视频片段中过滤出视频关键片段和视频关键帧;采用因果注意力机制,从视频关键片段和视频关键帧中提取影响未来事件的信息;构建思维推理链,引导模型;通过语言生成模型解码,预测视频未来事件。本发明克服了在处理复杂的、多变的现实世界场景时的局限性,增强了对复杂场景和细微变化的理解能力,实现了对复杂视频数据的深度分析和未来事件的准确预测,提高了在未来事件预测方面的准确性和可靠性,能够基于当前数据预测长期趋势和潜在风险,为决策提供更全面的支持。

    一种基于大模型与深度学习的数字人实时问答方法及系统

    公开(公告)号:CN118377865A

    公开(公告)日:2024-07-23

    申请号:CN202410381970.4

    申请日:2024-03-29

    Abstract: 本发明提供一种基于大模型与深度学习的数字人实时问答方法及系统,其中方法包括以下步骤:生成静默音频;获得用户问题;在获得所述用户问题时,通过大模型将所述用户问题生成对应的问答文本后,转换为若干标准时长的问答音频;在没有获得所述用户问题时,生成静默音频后循环使用;基于所述问答音频、所述静默音频和对应的人脸图像,使用深度模型,计算并渲染出对应的人脸图像帧;对所述问答音频、所述静默音频和所述人脸图像帧进行处理,输入到对应的通道,得到实时渲染的唇型人脸视频;使用实时驱动技术将所述唇型人脸视频推送到用户端。本发明能够实现用户对虚拟现实产品的实时体验,并借助大模型的特性生成更加合理的互动模版,增加产品的灵活性。

    图像编码方法、系统、设备及介质

    公开(公告)号:CN116847091B

    公开(公告)日:2024-04-26

    申请号:CN202310882709.8

    申请日:2023-07-18

    Abstract: 本公开提供了一种图像编码方法、系统、设备及介质,所述方法包括:获取待处理的图像;将所述图像划分为多个区域块,并确定所述区域块的区域视觉信息及所述区域块在语义标签上的概率分布;确定所述图像的图像视觉信息及图像语义信息,所述图像视觉信息根据每个所述区域块的区域视觉信息生成,所述图像语义信息根据每个所述区域块在语义标签上的概率分布生成;根据所述图像语义信息及所述图像视觉信息对图像进行编码,得到图像编码。本公开能够使得图像编码更丰富、更准确,能够扩展于各种图像任务重,提升编码在下游的应用率;另外,通过区域块确定图像视觉信息和图像语义信息,能够提升图像编码的准确率。

    一种基于多重损失和分辨率的图像转图像的方法

    公开(公告)号:CN116385270A

    公开(公告)日:2023-07-04

    申请号:CN202310412411.0

    申请日:2023-04-18

    Abstract: 本发明公开了一种基于多重损失和分辨率的图像转图像的方法,包括:获取输入图像,并对图像进行多分辨率预处理;将得到的不同分辨率图像输入到已经训练好的深度模型;其中,深度模型根据多个不同的分辨率,先从低分辨率模块至高分辨率模块依次进行训练,再进行整个模型的联合训练;在模型训练中,构造的损失函数包括:每个分辨率下的生成图像和真实图像之间的L1损失、由判别模型判断的生成图像是否真实的损失和生成图像和真实图像之间的风格损失;不同分辨率的图像通过深度模型进行整合最终得到相对应的图像。本发明充分利用图像的不同分辨率信息,结合应用多重损失训练好的深度模型,可以有效提高转换图像的质量。

    一种多专家混合模型的决策方法、系统、存储介质和程序产品

    公开(公告)号:CN119692503A

    公开(公告)日:2025-03-25

    申请号:CN202411756900.9

    申请日:2024-12-02

    Abstract: 本发明提供一种多专家混合模型的决策方法、系统、存储介质和程序产品,属于计算机技术领域。其中方法包括以下步骤:构建多个参数可学习的专家模型;构建一个参数可学习的全局模型;获取多模态任务数据集,分别训练各个专家模型和全局模型,得到全局模型和各个专家模型的输出;根据全局模型和各个专家模型的输出,利用专家模型选择机制,得到多专家混合模型的决策权重;将决策权重点乘各个专家模型的输出,通过加权求和的方式得到模型决策结果。本发明简化了混合专家模型推理阶段的流程,减少了模型的复杂程度和参数量,使得整体模型更加高效。

Patent Agency Ranking