-
公开(公告)号：CN113361575B
公开(公告)日：2023-10-20
申请号：CN202110593535.4
申请日：2021-05-28
Applicant: 北京百度网讯科技有限公司
Inventor： 李建伟
IPC: G06V10/774 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本公开公开了模型训练方法、装置和电子设备，涉及人工智能技术领域，尤其涉及计算机视觉、深度学习技术领域。具体实现方案为：获取训练样本；利用所述训练样本训练模型，对所述模型的模型参数进行更新；在每次训练的过程中，响应于所述模型参数更新结束，对所述模型参数进行归一化处理。由此，利用训练样本训练模型，对模型的模型参数进行更新，在每次训练的过程中，响应于模型参数更新结束，对模型参数进行归一化处理，从而训练过程中模型参数的值的波动程度较小，不会发生极端变化，可以加快模型训练，节省模型的训练时间，提高模型的训练效率。
-
公开(公告)号：CN116611477A
公开(公告)日：2023-08-18
申请号：CN202310638785.4
申请日：2023-05-31
Applicant: 北京百度网讯科技有限公司
IPC: G06N3/0464 , G06N3/0455 , G06N3/082
Abstract: 本公开提供了一种数据剪枝方法和序列模型的训练方法、装置、设备和介质，涉及人工智能领域，具体涉及计算机视觉、自然语言处理和深度学习等技术领域，可应用于图像分类、OCR、文本抽取和问答系统等场景。数据剪枝方法包括：获取针对目标计算单元的输入标记序列；输入标记序列中的每个标记指示多媒体数据中一个数据单元的特征；根据设置于目标计算单元之前的注意力单元生成的注意力矩阵，对输入标记序列进行剪枝处理，得到剪枝后标记序列和被剪枝标记；将剪枝后标记序列输入目标计算单元，得到目标计算单元输出的计算后标记序列；以及组合计算后标记序列和被剪枝标记，得到设置于目标计算单元之后的在后计算单元的输入数据。
-
公开(公告)号：CN113837308B
公开(公告)日：2022-08-05
申请号：CN202111155110.1
申请日：2021-09-29
Applicant: 北京百度网讯科技有限公司
Inventor： 李建伟
IPC: G06V10/764 , G06K9/62 , G06V10/82 , G06V10/774 , G06N3/04 , G06N3/08 , G06N5/00
Abstract: 本公开提供了一种基于知识蒸馏的模型训练方法、装置、电子设备及存储介质，涉及计算机领域，尤其涉及计算机视觉、NLP等人工智能技术领域。具体实现方案为：将基于训练样本得到的特征向量分别输入第一编码层和第二编码层，其中，该第一编码层属于第一模型，该第二编码层属于第二模型；对该第一编码层输出的结果进行汇聚处理，得到第一特征向量；根据该第二编码层的输出确定第二特征向量；对该第一特征向量和该第二特征向量做蒸馏处理，得到更新后的第一特征向量。该方案用于模型压缩蒸馏训练，可以灵活地用于模型的任一层中，压缩效果好。压缩后的模型可用于图像识别，且可以被部署到各种计算能力有限的设备上。
-
公开(公告)号：CN114021701A
公开(公告)日：2022-02-08
申请号：CN202111294819.X
申请日：2021-11-03
Applicant: 北京百度网讯科技有限公司
Inventor： 李建伟
Abstract: 本公开提供了一种视觉模型压缩方法、装置、设备、存储介质以及程序产品，涉及人工智能技术领域，具体为计算机视觉和深度学习技术领域。该方法的一具体实施方式包括：视觉模型的输入标记输入至视觉模型；获取视觉模型的第i层的输出标记；基于第i层的输出标记，生成第一转置标记；对第一转置标记进行降维，生成降维标记；将降维标记输入至第i+1层进行变换，生成第i+1层的输出标记。该实施方式提供了一种在标记维度进行降维的视觉模型压缩方法，通过减少标记数目加快模型训练。
-
公开(公告)号：CN113901904B
公开(公告)日：2024-12-03
申请号：CN202111157086.5
申请日：2021-09-29
Applicant: 北京百度网讯科技有限公司
Inventor： 李建伟
IPC: G06V40/16 , G06V10/774 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/047 , G06N3/082
Abstract: 本公开提供了一种图像处理方法、人脸识别模型训练方法、装置及设备，涉及人工智能技术领域，具体涉及计算机视觉和深度学习技术领域，可应用于图像处理、图像识别等场景。具体实现方案为：获取待处理人脸图像，并将待处理人脸图像切割为多个图像块；确定待处理人脸图像中各图像块的重要性信息；获取预设的视觉转换模型的剪枝率；将多个图像块输入至视觉转换模型，并根据剪枝率和各图像块的重要性信息，对视觉转换模型之中每层网络的输入进行剪枝处理，获得视觉转换模型的输出结果；根据视觉转换模型的输出结果，确定待处理人脸图像的特征向量。本公开的技术方案可以降低图像处理过程中的算力消耗，提高图像处理的效率。
-
Patent Agency Ranking
公开(公告)号：CN116611477B
公开(公告)日：2024-05-17
申请号：CN202310638785.4
申请日：2023-05-31
Applicant: 北京百度网讯科技有限公司
IPC: G06N3/0464 , G06N3/0455 , G06N3/082
Abstract: 本公开提供了一种数据剪枝方法和序列模型的训练方法、装置、设备和介质，涉及人工智能领域，具体涉及计算机视觉、自然语言处理和深度学习等技术领域，可应用于图像分类、OCR、文本抽取和问答系统等场景。数据剪枝方法包括：获取针对目标计算单元的输入标记序列；输入标记序列中的每个标记指示多媒体数据中一个数据单元的特征；根据设置于目标计算单元之前的注意力单元生成的注意力矩阵，对输入标记序列进行剪枝处理，得到剪枝后标记序列和被剪枝标记；将剪枝后标记序列输入目标计算单元，得到目标计算单元输出的计算后标记序列；以及组合计算后标记序列和被剪枝标记，得到设置于目标计算单元之后的在后计算单元的输入数据。
-
公开(公告)号：CN114021645A
公开(公告)日：2022-02-08
申请号：CN202111294479.0
申请日：2021-11-03
Applicant: 北京百度网讯科技有限公司
Inventor： 李建伟
IPC: G06K9/62 , G06V10/771
Abstract: 本公开提供了一种视觉模型降秩方法、装置、设备、存储介质以及程序产品，涉及人工智能技术领域，具体为计算机视觉和深度学习技术领域，可应用于OCR光学字符识别等场景下。该方法的一具体实施方式包括：将视觉模型的输入标记输入至视觉模型；获取视觉模型的第i层的输出标记；使用可学习权重对视觉模型的第i层的输出标记进行降秩，生成视觉模型的第i层的降秩标记；将视觉模型的第i层的降秩标记输入至视觉模型的第i+1层进行变换，生成视觉模型的第i+1层的输出标记。该实施方式提供了一种视觉模型降秩方法，通过减少标记数目加快模型训练。
-
公开(公告)号：CN113901904A
公开(公告)日：2022-01-07
申请号：CN202111157086.5
申请日：2021-09-29
Applicant: 北京百度网讯科技有限公司
Inventor： 李建伟
Abstract: 本公开提供了一种图像处理方法、人脸识别模型训练方法、装置及设备，涉及人工智能技术领域，具体涉及计算机视觉和深度学习技术领域，可应用于图像处理、图像识别等场景。具体实现方案为：获取待处理人脸图像，并将待处理人脸图像切割为多个图像块；确定待处理人脸图像中各图像块的重要性信息；获取预设的视觉转换模型的剪枝率；将多个图像块输入至视觉转换模型，并根据剪枝率和各图像块的重要性信息，对视觉转换模型之中每层网络的输入进行剪枝处理，获得视觉转换模型的输出结果；根据视觉转换模型的输出结果，确定待处理人脸图像的特征向量。本公开的技术方案可以降低图像处理过程中的算力消耗，提高图像处理的效率。
-
公开(公告)号：CN114021701B
公开(公告)日：2025-02-28
申请号：CN202111294819.X
申请日：2021-11-03
Applicant: 北京百度网讯科技有限公司
Inventor： 李建伟
IPC: G06N3/0455 , G06N3/08
Abstract: 本公开提供了一种视觉模型压缩方法、装置、设备、存储介质以及程序产品，涉及人工智能技术领域，具体为计算机视觉和深度学习技术领域。该方法的一具体实施方式包括：视觉模型的输入标记输入至视觉模型；获取视觉模型的第i层的输出标记；基于第i层的输出标记，生成第一转置标记；对第一转置标记进行降维，生成降维标记；将降维标记输入至第i+1层进行变换，生成第i+1层的输出标记。该实施方式提供了一种在标记维度进行降维的视觉模型压缩方法，通过减少标记数目加快模型训练。
-
公开(公告)号：CN117710504A
公开(公告)日：2024-03-15
申请号：CN202311733691.1
申请日：2023-12-15
Applicant: 北京百度网讯科技有限公司
Inventor： 李建伟
Abstract: 本公开提供了一种图像生成方法、图像生成模型的训练方法、装置和设备，涉及人工智能技术领域，具体涉及计算机视觉、深度学习、大模型等技术领域。图像生成方法包括：获取初始噪声图像；获取与预设的多个去噪推理步骤对应的多个推理步骤信息；将初始噪声图像与多个推理步骤信息分别进行融合，得到多个第一特征；利用自注意力机制对多个第一特征进行并行处理，得到与多个第一特征对应的多个第二特征，其中，多个第二特征表征对初始噪声图像迭代执行多个去噪推理步骤而得到的多个图像；以及基于多个第二特征，得到不包含噪声的目标图像。
-
-
-
-
-
-
-
-
-
Search Results
13
records
(took 0.034 seconds)
