公开(公告)号：CN119445127B

公开(公告)日：2025-05-02

申请号：CN202510033307.X

申请日：2025-01-09

Applicant: 南开大学

Inventor： 赫鑫宇 ,  李东哲 ,  卢冶

IPC: G06V10/28 ,  G06N3/0455 ,  G06N3/084 ,  G06V10/82

Abstract: 本发明涉及人工智能技术领域，具体公开了一种用于ViTs的逐图像块后训练量化方法及系统，方法包括：获取全精度Vision transformer预训练模型、校准数据和量化器；将预训练模型中的全部模块替换为对应的量化模块，得到待量化的ViTs模型，所述量化模块中包括激活值和权重的量化器，所述激活值采用逐图像块均匀量化器；利用所述校准数据，计算得到各量化器的缩放因子和零点偏移的初始值；利用校准数据和预训练模型，对缩放因子进行迭代优化，得到量化后的ViTs模型。本发明允许每个图像块享有独立的量化参数，极大提升了量化分辨率并且使量化的激活值具有更强的表征能力。

公开(公告)号：CN119445127A

公开(公告)日：2025-02-14

申请号：CN202510033307.X

申请日：2025-01-09

Applicant: 南开大学

Inventor： 赫鑫宇 ,  李东哲 ,  卢冶

IPC: G06V10/28 ,  G06N3/0455 ,  G06N3/084 ,  G06V10/82

Abstract: 本发明涉及人工智能技术领域，具体公开了一种用于ViTs的逐图像块后训练量化方法及系统，方法包括：获取全精度Vision transformer预训练模型、校准数据和量化器；将预训练模型中的全部模块替换为对应的量化模块，得到待量化的ViT模型，所述量化模块中包括激活值和权重的量化器，所述激活值采用逐图像块均匀量化器；利用所述校准数据，计算得到各量化器的缩放因子和零点偏移的初始值；利用校准数据和预训练模型，对缩放因子进行迭代优化，得到量化后的ViT模型。本发明允许每个图像块享有独立的量化参数，极大提升了量化分辨率并且使量化的激活值具有更强的表征能力。

公开(公告)号：CN116052048A

公开(公告)日：2023-05-02

申请号：CN202310043321.9

申请日：2023-01-29

Applicant: 南开大学

Inventor： 赫鑫宇 ,  仪德智 ,  谢坤鹏 ,  卢冶

IPC: G06V20/40 ,  G06V10/80 ,  G06V10/774 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/084

Abstract: 本发明提供了一种多模态推理与迭代优化视频描述生成方法，包括以下步骤：根据采样后的视频帧得到目标特征、外观特征和运动特征；三个特征和上下文引导特征G计算得到三种单词的推理特征；选择其中一个作为基础解码器的一项输入内容；基础解码器输出的隐藏状态作为迭代器的一项输入内容；计算描述单词的概率分布；生成描述语句。以及视频描述生成模型，包括编码器部分和解码器部分，所述解码器部分包括依次连接的基础解码器和迭代器，基础解码器和迭代器由LSTM网络构成。本发明的完全动态的上下文引导特征与迭代器确实极大地提升了描述语句的质量，模型能够为视频数据生成更加准确、更加细致、更加全面且更具表达力的描述语句。

公开(公告)号：CN115730648A

公开(公告)日：2023-03-03

申请号：CN202211473669.3

申请日：2022-11-22

Applicant: 南开大学

Inventor： 董慧娟 ,  谢坤鹏 ,  赫鑫宇 ,  郑光明 ,  卢冶

IPC: G06N3/063 ,  G06N3/0442 ,  G06N3/0495 ,  G06N3/048 ,  G06N3/082 ,  G06N3/084 ,  G06N5/04

Abstract: 本发明提供了一种低位宽量化压缩的LSTM加速器，包括存储模块、矩阵向量乘计算模块、激活函数模块和点乘操作模块，所述存储模块分别与所述矩阵向量乘计算模块、激活函数模块、点乘操作模块连接，所述矩阵向量乘计算模块、激活函数模块、点乘操作模块依次连接；所述矩阵向量乘计算模块用于进行权值矩阵与输入数据或前一个时刻的输出值的矩阵向量乘计算，再加上偏置向量；权值矩阵、输入数据和前一个时刻的输出值由32位浮点数量化为8位整数，在所述矩阵向量乘计算模块进行计算，所述矩阵向量乘计算模块的计算结果反量化为32位浮点数。本发明在保证模型精度低损的前提下，降低了功耗，大幅度减少了推理延迟时间。