一种应用于边缘设备的大语言模型流水线推理架构

    公开(公告)号:CN119440632A

    公开(公告)日:2025-02-14

    申请号:CN202411471669.9

    申请日:2024-10-21

    Abstract: 本发明公开了一种应用于边缘设备的大语言模型流水线推理架构,涉及大语言模型领域,本发明提出了一种内存高效的流水线执行机制,即PIPELOAD,针对其实际应用提出了Hermes架构由层分析器、流水线规划器和执行引擎三部分组成;层分析器是对给定的Transformer模型中的每一层进行分析,以评估其运行性能和内存使用情况;利用层分析器生成的数据,所述流水线规划器通过改变加载代理数量以生成在不同内存限制下的执行计划;在确定执行计划后,模型推理将根据边缘设备的当前的实际内存约束,在所述执行引擎中,遵从由流水线规划器生成的对应执行计划,按照该计划中的加载代理数量进行执行。本发明有效解决了流水线阻塞的问题和在边缘设备上部署大模型时内存受限的问题。

    一种基于机器学习的集成电路芯片寿命的评估方法与系统

    公开(公告)号:CN114692499A

    公开(公告)日:2022-07-01

    申请号:CN202210331280.9

    申请日:2022-03-30

    Abstract: 一种基于机器学习的集成电路芯片寿命的评估方法与系统,方法包括步骤:根据寿命试验记录集成电路芯片的真实数据集并建立寿命分布函数;利用寿命分布函数求得相应的仿真寿命值,得到仿真数据集;合并真实数据集和仿真数据集,组成训练优化机器学习回归模型的原数据集;对于所述原数据集中的参数型数据,通过特征提取得到参数型特征向量;将二维结构连接图转换为特征向量,形成芯片的结构特征向量;合并参数型特征向量和结构特征向量,组成全特征向量集输入机器学习回归模型中进行模型融合,得到融合回归模型;利用训练集和测试集,最终形成端到端的芯片寿命预测模型。本发明方法能实现实时准确地集成电路芯片寿命预测与评估。

    基于超声波谱机器视觉的倒装焊点检测与寿命评估系统

    公开(公告)号:CN118795029A

    公开(公告)日:2024-10-18

    申请号:CN202411074908.7

    申请日:2024-08-07

    Abstract: 本发明属于半导体失效分析技术领域,具体涉及了一种基于超声波谱机器视觉的倒装焊点检测与寿命评估系统,旨在解决倒装焊点检测与寿命评估误差较大、效率较低的问题。本发明包括:数据采集模块和算法应用模块,数据采集模块用于采集多个焊点的焊点质量数据和寿命相关数据;算法应用模块用于提取每种焊点质量数据的特征数据;提取所述超声波谱的特征数据;采用包括焊点质量数据的特征数据、超声波谱的特征数据和寿命评估指标的训练集,训练得到回归模型;将待测焊点的焊点质量数据输入所述回归模型,进行倒装焊点检测与寿命评估。本发明能够对集成电路芯片焊点多种缺陷进行更精确的检测,进行更高效率、更精确的集成电路芯片焊点寿命估计。

Patent Agency Ranking