公开(公告)号：CN118196817A

公开(公告)日：2024-06-14

申请号：CN202410310093.1

申请日：2024-03-18

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 陈志军

IPC: G06V30/413 ,  G06V30/412 ,  G06V30/418 ,  G06V30/19 ,  G06F40/103

Abstract: 本说明书实施例公开了种卡证图像样本生成方法，包括：获取至少一张真实卡证图像；针对每一张所述真实卡证图像，获取目标文字图像；确定所述目标文字图像中目标文字的字段类型；根据所述目标文字图像，通过文字检索模型在字体库中检索出所述目标文字的字体；从所述真实卡证图像中清除所述目标文字，得到待填写区域；基于所述目标文字的字段类型，从语料库中搜索相同类型的语料文本；用与所述目标文字相同的字体将所述语料文本生成在所述真实卡证图像的所述待填写区域中，以得到卡证图像样本。该方法能够基于少量的真实证件大批量生成卡证图像样本。相应地，本发明公开了卡证图像样本生成装置。

公开(公告)号：CN117392478A

公开(公告)日：2024-01-12

申请号：CN202311140661.X

申请日：2023-09-05

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 陈志军 ,  刘健

IPC: G06V10/774 ,  G06V10/82 ,  G06N3/08 ,  G06N3/045 ,  G06N3/0464

Abstract: 本说明书实施例公开了一种证件识别模型训练方法，包括：构建无标签的第一样本图像集；在所述第一样本图像集上进行大模型的预训练，得到预训练大模型；确定至少一个下游任务；构建针对所述下游任务的第二样本图像集和子模型；将所述第二样本图像集中的第二样本图像输入所述预训练大模型，获得所述第二样本图像的通用特征；针对当前子模型，固定其他子模型的参数，将所述通用特征输入当前子模型，得到当前子模型的识别结果；基于所述第二样本图像的标签和所述识别结果，确定损失函数；基于所述损失函数，更新当前子模型的参数。相应地，本发明公开了一种证件识别方法及装置。

公开(公告)号：CN117390224A

公开(公告)日：2024-01-12

申请号：CN202311173037.X

申请日：2023-09-12

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 陈志军

IPC: G06F16/783 ,  G06F16/78 ,  G06F16/33 ,  G06F40/30

Abstract: 本申请实施例公开了一种视觉语音问答模型的训练方法、装置、交互方法及系统。其中，该训练方法包括：获取图像样本和所述图像样本的描述文本；将所述图像样本输入预先构建的语音视觉问答模型，得到预测文本；基于所述预测文本和所述描述文本，确定第一损失函数；确定问题文本和答复文本；将所述问题文本转化为语音样本；将所述语音样本和所述图像样本输入所述语音视觉问答模型，得到预测答复文本；基于所述预测答复文本和所述答复文本，确定第二损失函数；基于所述第一损失函数和所述第二损失函数，更新所述语音视觉问答模型。本发明能够支持针对当前场景图像的语音描述功能和语音问答功能。

公开(公告)号：CN117078909A

公开(公告)日：2023-11-17

申请号：CN202311048456.0

申请日：2023-08-18

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 陈志军

IPC: G06V10/22 ,  G06V10/82 ,  G06V10/764 ,  G06N3/0464 ,  G06N3/08

Abstract: 本说明书实施例公开了一种证件防伪模型的测试方法，包括对所述证件防伪模型进行至少一轮攻击；其中，每一轮攻击包括：获取策略模型输出的图像采集策略，所述图像采集策略包括光线调整策略和角度调整策略中的至少一种；基于所述图像采集策略，对目标伪造证件进行图像采集，得到至少一张目标图像；将所述至少一张目标图像输入所述证件防伪模型，得到识别结果；基于所述识别结果，确定本轮攻击的攻破率；基于所述攻破率，确定激励信号，将所述激励信号和所述图像采集环境输入所述策略模型，以使所述策略模型采用强化学习更新所述图像采集策略。相应地，本发明公开了证件防伪模型的测试装置、优化方法及装置。

公开(公告)号：CN118279693A

公开(公告)日：2024-07-02

申请号：CN202410195008.1

申请日：2024-02-21

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 陈志军

IPC: G06V10/774 ,  G06V30/19 ,  G06V30/18 ,  G06V30/148 ,  G06V10/26 ,  G06V10/44

Abstract: 本说明书实施例公开了一种视觉基础模型训练方法、装置、存储介质及电子设备，包括：对样本证件图像进行掩码操作，得到样本证件图像对应的掩码图像，然后基于视觉基础模型中的特征提取网络对掩码图像进行图像特征提取处理，得到掩码图像对应的掩码图像特征，再基于视觉基础模型中的图像重构网络，根据掩码图像特征进行图像特征重构，生成样本证件图像对应的重构证件图像，最后以最小化样本证件图像和重构证件图像之间的差异为优化目标，调整视觉基础模型的模型参数。

公开(公告)号：CN118194038A

公开(公告)日：2024-06-14

申请号：CN202410310085.7

申请日：2024-03-18

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 陈志军

IPC: G06F18/214 ,  G06F18/25 ,  G06N3/0455 ,  G06N3/0464 ,  G06N20/00

Abstract: 本说明书实施例公开了一种模型训练方法、资源生成方法、装置、存储介质及电子设备，将包含第一特征的第一样本输入第一特征编码器，得到第一特征向量；将包含第二特征的第二样本输入第二特征解码器，第二样本通过自注意力机制得到第二特征向量，第一特征向量和第二特征向量通过交叉注意力机制，得到融合第一特征和第二特征的第三向量，将第三向量输入卷积神经网络的解码器中，得到融合第一特征和第二特征的输出结果；以输出结果的真实性为训练目标，对第一特征编码器以及第二特征解码器进行训练，从而得到可以生成大量与真实样本相似度高的目标资源，以解决例如证件识别等过程中资源不足的问题。

公开(公告)号：CN117912046A

公开(公告)日：2024-04-19

申请号：CN202311640667.3

申请日：2023-11-30

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 陈志军

IPC: G06V30/42 ,  G06V30/19

Abstract: 本说明书实施例公开了一种证件识别模型训练方法、装置、存储介质及电子设备，通过获取无标签的第一样本证件图像，并基于第一样本证件图像进行数据生成得到有标签的第二样本证件图像，以采用第一样本证件图像进行无监督训练，采用第二样本证件图像进行有监督训练，通过有监督和无监督相结合的方式最后训练得到满足预设要求的证件识别模型。

公开(公告)号：CN117786645A

公开(公告)日：2024-03-29

申请号：CN202311726438.3

申请日：2023-12-14

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 陈志军

IPC: G06F21/33 ,  G06N3/092 ,  G06V10/82

Abstract: 本说明书实施例公开了一种证件防伪系统优化方法、装置、存储介质及电子设备，首先获取第一证件图像分别对应的攻击记录，第一证件图像为攻破证件防伪系统的伪造证件图像，攻击记录包括第一证件图像对应的环境参数和证件防伪系统识别的伪造分数，然后根据各攻击记录生成图像采集策略，并基于图像采集策略采集伪造证件图像，各伪造证件图像分别对应的环境参数不同，最后根据伪造证件图像对证件防伪系统进行优化。

公开(公告)号：CN116543408A

公开(公告)日：2023-08-04

申请号：CN202310438971.3

申请日：2023-04-18

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 陈志军 ,  刘健

IPC: G06V30/413 ,  G06V30/416 ,  G06V30/414 ,  G06N3/0464 ,  G06V10/82 ,  G06V30/148

Abstract: 本说明书实施例公开了一种高仿假证检测方法，包括：获取客户端采集到的不同环境下的多帧证件图像；采用相同的划分方式分别对每帧证件图像进行区块划分；对每帧证件图像中的各区块进行特征提取，分别得到各区块对应的区块特征；根据各区块在该证件图像中的位置，对各区块的特征进行空间编码，以得到该证件图像中各区块对应的空间特征；针对在任一证件图像中划分出的每个位置，对不同帧证件图像中位于该位置的区块的空间特征进行时间编码得到该位置对应的时空特征，以用于表示所述证件中位于该位置的部分在不同环境下的变化；根据各位置分别对应的时空特征判断所述证件是否是假证。相应地，本发明公开了高仿假证检测装置。

公开(公告)号：CN116403249A

公开(公告)日：2023-07-07

申请号：CN202211091856.5

申请日：2022-09-07

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 陈志军 ,  罗曼 ,  陈弢

IPC: G06V40/16 ,  G06V10/80 ,  G06V10/764 ,  G06N3/04 ,  G06N3/08

Abstract: 本说明书公开了一种模型训练方法、装置、设备及可读存储介质，从第一人脸图像提取图像特征，并从第三人脸图像中提取遗传特征，基于遗传特征和第二人脸图像的采集年龄，对通过编码器得到的图像特征进行特征融合，得到的目标特征通过生成器得到目标人脸图像，可见，通过在图像处理模型的训练过程中，引入第一用户的关联用户的第三人脸图像中提取的遗传特征，使得图像处理模型生成的图像不仅包含第一用户的第一人脸图像的特征，还包括第一用户的关联用户的人脸特征。在响应于第二用户的预测请求时，即使第二用户的年龄变化较大，也可以提高模型输出的第二用户在目标年龄下的人脸图像的精确度。