-
公开(公告)号:CN115035314A
公开(公告)日:2022-09-09
申请号:CN202210685058.9
申请日:2022-06-15
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06V10/44 , G06V10/764
Abstract: 本说明书实施例提供了一种网络模型的训练、图像特征的确定方法及装置。网络模型包括特征提取网络和分类器。在训练网络模型时,获取待训练的第一图像和对应的标注标签,利用特征提取网络提取第一图像的第一特征,对第一特征包含的特征元素进行映射,得到第一图像的伪哈希特征,该伪哈希特征中的特征元素的取值在两个预设数值之间;接着,利用伪哈希特征和分类器确定第一图像的预测概率,基于预测概率与标注标签之间的差异,确定预测损失,利用该预测损失,对网络模型进行更新。
-
公开(公告)号:CN114819140A
公开(公告)日:2022-07-29
申请号:CN202210330396.0
申请日:2022-03-31
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例公开了一种模型剪枝方法、装置和计算机设备。所述方法包括:根据剪枝参数,确定掩码信息;所述掩码信息用于指示目标模型中剪枝对象的有效状态;将样本输入至增添了掩码信息后的目标模型,得到目标模型的第一输出;根据第一输出,优化参数信息;所述参数信息包括目标模型的模型参数和剪枝参数;迭代执行以上步骤,直至满足结束条件;根据掩码信息,对剪枝对象进行剪枝处理。本说明书实施例可以对目标模型进行剪枝处理,以减少存储资源和计算资源的占用。
-
公开(公告)号:CN114638980A
公开(公告)日:2022-06-17
申请号:CN202210214070.1
申请日:2022-03-04
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供了菜品种类识别处理方法及装置,其中,一种菜品种类识别处理方法包括:对菜品机具采集的菜品组合的图像进行图像质量检测;若检测未通过,调整所述菜品机具的图像采集参数,并获取基于调整后的图像采集参数采集的图像;基于检测通过的目标图像进行所述菜品组合中各菜品的遮挡关系校验;若校验通过,在所述目标图像中各菜品对应的图像区域中提取各菜品的菜品特征;将各菜品的菜品特征与菜品库中注册菜品的菜品特征进行比对,根据比对结果确定各菜品的菜品种类。
-
公开(公告)号:CN113011505A
公开(公告)日:2021-06-22
申请号:CN202110307949.6
申请日:2020-11-20
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供热力图转换模型训练方法以及装置,其中所述热力图转换模型训练方法包括:对目标对象的特征图像进行特征点标注,并生成所述特征图像对应的至少一个特征点坐标,根据所述至少一个特征点坐标确定至少一个第一特征点热力图,将所述特征图像作为样本图像,并将所述至少一个第一特征点热力图作为样本标签输入待训练热力图转换模型进行训练,生成热力图转换模型,所述热力图转换模型使得所述样本标签与所述特征图像相关联。
-
公开(公告)号:CN112101490B
公开(公告)日:2021-03-02
申请号:CN202011305014.6
申请日:2020-11-20
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供热力图转换模型训练方法以及装置,其中所述热力图转换模型训练方法包括:对目标对象的特征图像进行特征点标注,并生成所述特征图像对应的至少一个特征点坐标,根据所述至少一个特征点坐标确定至少一个第一特征点热力图,将所述特征图像作为样本图像,并将所述至少一个第一特征点热力图作为样本标签输入待训练热力图转换模型进行训练,生成热力图转换模型,所述热力图转换模型使得所述样本标签与所述特征图像相关联。
-
公开(公告)号:CN112101490A
公开(公告)日:2020-12-18
申请号:CN202011305014.6
申请日:2020-11-20
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供热力图转换模型训练方法以及装置,其中所述热力图转换模型训练方法包括:对目标对象的特征图像进行特征点标注,并生成所述特征图像对应的至少一个特征点坐标,根据所述至少一个特征点坐标确定至少一个第一特征点热力图,将所述特征图像作为样本图像,并将所述至少一个第一特征点热力图作为样本标签输入待训练热力图转换模型进行训练,生成热力图转换模型,所述热力图转换模型使得所述样本标签与所述特征图像相关联。
-
公开(公告)号:CN119557398A
公开(公告)日:2025-03-04
申请号:CN202411606386.0
申请日:2024-11-11
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F16/3329 , G06F16/36
Abstract: 本说明书提供一种数据处理方法及系统。该方法包括:获取目标问题,并获得事实数据集合;从知识图谱中检索得到与所述目标问题相关的第一知识信息,并基于所述第一知识信息从所述事实数据集合中筛选出关键事实数据;从所述知识图谱中检索得到与所述目标问题、所述关键事实数据均相关的第二知识信息;以及将所述目标问题、所述关键事实数据以及所述第二知识信息提供给大模型,以通过所述大模型生成所述目标问题对应的回答信息。
-
公开(公告)号:CN117012228B
公开(公告)日:2024-11-01
申请号:CN202310943184.4
申请日:2023-07-28
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G10L25/51 , G06V10/774 , G06N3/0455 , G06N3/08 , G10L21/055 , G10L25/69
Abstract: 本说明书实施例提供一种训练评估模型、评估视频质量的方法及装置,在训练评估模型的方法中,获取样本集,其中包括,音画同步的第一视频样本。对第一视频样本进行音画分离,得到样本图像帧序列和对应的样本音频帧序列,并将其输入评估模型进行模型处理,该评估模型包括第一编码器和第二编码器。上述模型处理包括,利用第一编码器,对各样本图像帧进行编码,得到各样本图像表征,以及利用第二编码器,对各样本音频帧进行编码,得到各样本音频表征。以最小化第一损失为目标,调整第一编码器和第二编码器的参数,该第一损失正相关于,各样本图像表征与对应样本音频表征的不同模态间距离,以及各样本图像表征中相邻样本图像表征的同模态间距离。
-
公开(公告)号:CN118691721A
公开(公告)日:2024-09-24
申请号:CN202410692380.3
申请日:2024-05-30
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06T13/40 , G06T15/00 , G06T15/08 , G06T15/20 , G06V40/10 , G06V40/16 , G06V10/82 , G06N3/045 , G06N3/0475 , G06N3/09
Abstract: 本说明书实施例提供一种训练生成模型的方法和装置,其中生成模型用于生成人像渲染数据。训练方法包括,首先利用多个不同人像I D的多个视频,进行多轮联合训练。其中,针对任意目标I D的联合训练包括,利用身份编码器,从目标I D对应的目标视频的视频帧中提取I D专有特征,其中包括,目标I D外形特征、目标I D超网络参数。将目标I D超网络参数施加于生成模型的I D专用部分,得到改造的生成模型;然后利用改造的生成模型处理驱动信号和目标I D外形特征,得到渲染数据。根据渲染数据和目标视频,更新身份编码器和生成模型中的共享部分。联合训练之后,还可以执行针对特定I D的专用训练,得到特定I D专用的生成模型。
-
公开(公告)号:CN118429491A
公开(公告)日:2024-08-02
申请号:CN202410525780.5
申请日:2024-04-28
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06T13/40 , G06T15/00 , G06T15/08 , G06T17/10 , G06T17/20 , G06V40/16 , G06V40/20 , G06V10/82 , G06V10/80 , G06F18/25 , G10L25/03 , G10L25/30 , G06N3/0455 , G06N3/09 , H04N21/44 , H04N21/81
Abstract: 本说明书实施例提供一种生成动态人像的方法和装置。方法包括:基于第一人像图片,提取面部的表情特征以及躯干特征;并提取第一语音片段对应的音频特征。利用第一神经网络处理原始空间中任意的第一空间位置和面部特征,得到与面部相关的第一变形特征,并通过叠加第一变形特征得到第二空间位置,其中面部特征包括表情特征和音频特征。然后,利用第二神经网络处理第二空间位置和躯干特征,得到与躯干相关的第二变形特征,并通过叠加第二变形特征得到第三空间位置。接着利用静态网络模块处理第三空间位置,得到对应的颜色和体密度。各个空间位置的颜色和体密度,用于渲染生成第一语音片段对应的第二人像图片。
-
-
-
-
-
-
-
-
-