-
公开(公告)号:CN118378672B
公开(公告)日:2024-11-08
申请号:CN202410793310.7
申请日:2024-06-19
Applicant: 厦门大学
IPC: G06N3/0495 , G06N3/0464 , G06N3/09 , G06V10/764 , G06V10/26 , G06V10/82
Abstract: 本发明提供一种快速量化视觉自注意力模型的方法,涉及人工神经网络的压缩与加速。本发明提出激活值量化误差减少策略,将激活值的量化误差减少问题建模为岭回归,通过解析解得到权重的调整值;同时,本发明提出模型权重量化误差减少策略,通过重置舍入方式得到权重的量化参数、通过岭回归建模的方式得到剩余权重的调整值。本方法充分利用权重和激活值二者的关系,可以快速确定与激活值、权重适配的量化参数,得到量化模型,极大提升量化模型的性能表现。
-
公开(公告)号:CN118229700B
公开(公告)日:2024-10-22
申请号:CN202410645393.5
申请日:2024-05-23
Applicant: 厦门大学
Abstract: 本发明公开一种实时的交互式图像分割方法,涉及计算机视觉技术领域,引入了一种创新的处理交互分割问题的流程,能够提高交互式分割任务的计算效率,包括:步骤1、使用大型视觉模型对图像进行并行预处理,得到图像特征;步骤2、通过一轻量级的交互式分割模块,实时处理图像特征和用户输入的交互信息,能够从图像中准确地分割出目标区域,并根据用户的反馈不断提高分割的准确度。本发明通过将来自大型视觉模型预处理的图像特征与用户输入的交互信息相结合,并使用单一的轻量级交互式分割模块执行交互式分割,这种设计不仅保持了模型分割性能的竞争力,同时也优化了模型推理流程,显著提高了计算效率,为实时交互式图像分割提供了有效的解决方案。
-
公开(公告)号:CN118378672A
公开(公告)日:2024-07-23
申请号:CN202410793310.7
申请日:2024-06-19
Applicant: 厦门大学
IPC: G06N3/0495 , G06N3/0464 , G06N3/09 , G06V10/764 , G06V10/26 , G06V10/82
Abstract: 本发明提供一种快速量化视觉自注意力模型的方法,涉及人工神经网络的压缩与加速。本发明提出激活值量化误差减少策略,将激活值的量化误差减少问题建模为岭回归,通过解析解得到权重的调整值;同时,本发明提出模型权重量化误差减少策略,通过重置舍入方式得到权重的量化参数、通过岭回归建模的方式得到剩余权重的调整值。本方法充分利用权重和激活值二者的关系,可以快速确定与激活值、权重适配的量化参数,得到量化模型,极大提升量化模型的性能表现。
-
公开(公告)号:CN117173409A
公开(公告)日:2023-12-05
申请号:CN202311123978.2
申请日:2023-09-01
Applicant: 厦门大学
Abstract: 一种实时的交互式图像分割方法,涉及计算机视觉。采用一种全新的流程来处理交互分割问题,旨在提高交互式分割的计算效率。包括如下步骤:步骤1,在高性能设备上采用大型视觉模型并行预处理图像;步骤2,在低功耗设备上,轻量级的分割模块利用预处理的图像特征实时有效地响应标注器的输入,从图像中准确地分割出目标区域,并根据用户的反馈不断提高分割准确度。只需使用一个轻量级模块在低功耗设备上执行交互式分割,该模块将来自大模型的预处理特征与标注者的点击作为输入。在保持模型分割性能具有竞争力的同时,优化模型推理流程,提高计算效率。
-
公开(公告)号:CN118864490A
公开(公告)日:2024-10-29
申请号:CN202410834157.8
申请日:2024-06-26
Applicant: 厦门大学
IPC: G06T7/11 , G06V10/764 , G06V10/80 , G06V10/82
Abstract: 本发明公开一种图像编码器、高精度交互式图像分割方法、电子设备和存储介质,解决现有技术中存在的问题,提高交互式分割的计算效率和分割质量,能够在高分辨率图像上实现高精度交互式分割。图像编码器包括以串联形式构建的1个图像嵌入模块、12个Transformer模块和4个循环扫描模块,每3个Transformer模块为1个阶段,每个阶段中最后的Transformer模块前插入1个循环扫描模块;Transformer模块包括串联的注意力计算模块和前馈神经网络模块;注意力计算模块的注意力包括一般窗口注意力和平移窗口注意力,12个Transformer模块中交替分布着这两种注意力。图像编码器主要以窗口注意力计算为主,构建了一般窗口注意力和平移窗口注意力的计算,并配合循环扫描模块来强化图像的全局特征信息融合。
-
公开(公告)号:CN118229700A
公开(公告)日:2024-06-21
申请号:CN202410645393.5
申请日:2024-05-23
Applicant: 厦门大学
Abstract: 本发明公开一种实时的交互式图像分割方法,涉及计算机视觉技术领域,引入了一种创新的处理交互分割问题的流程,能够提高交互式分割任务的计算效率,包括:步骤1、使用大型视觉模型对图像进行并行预处理,得到图像特征;步骤2、通过一轻量级的交互式分割模块,实时处理图像特征和用户输入的交互信息,能够从图像中准确地分割出目标区域,并根据用户的反馈不断提高分割的准确度。本发明通过将来自大型视觉模型预处理的图像特征与用户输入的交互信息相结合,并使用单一的轻量级交互式分割模块执行交互式分割,这种设计不仅保持了模型分割性能的竞争力,同时也优化了模型推理流程,显著提高了计算效率,为实时交互式图像分割提供了有效的解决方案。
-
-
-
-
-