基于预测解码的大语言模型的推理加速方法及装置

    公开(公告)号:CN118886511A

    公开(公告)日:2024-11-01

    申请号:CN202410807709.6

    申请日:2024-06-21

    Abstract: 本发明公开了一种基于预测解码的大语言模型的推理加速方法及装置,方法包括:获取用户输入,基于特征向量,期望大语言模型提供与特征向量对应的预期输出;特征向量同步输入给并发推理小语言模型和大语言模型,小语言模型基于特征向量生成顺序的NUM个token语段并将其按生成顺序逐一发送给大语言模型;大语言模型基于特征向量进行推理,在接收到token语段时,中断推理,基于当前的推理结果开启对token语段的概率验证;基于概率验证结果,确定输出序列。本方法利用小模型小语言模型提前快速的生成多个候选token,相比逐个token生成,该方法大幅提升了生成效率。

    一种集成式电动涵道动力装置及其冷却方法

    公开(公告)号:CN119840849A

    公开(公告)日:2025-04-18

    申请号:CN202510315406.7

    申请日:2025-03-18

    Abstract: 本发明属于绿色交通电动车辆及飞行器技术领域,具体涉及一种集成式电动涵道动力装置及其冷却方法,为提高陆空机动平台、飞行汽车推进系统的集成度,实现推进装置轻量化设计目标,本发明提供的集成式电动涵道动力装置包括:涵道、螺旋桨、支撑支架、永磁体支架、碳纤维套、永磁体、定子铁芯、定子绕组、隔板、电机控制器;通过将电机的转子与螺旋桨桨叶集成设计,电机定子、电机控制器设计进涵道内部,来实现壳体共用,同时通过电机定子、电机控制器浸油,电机转子风冷的动力装置风‑油混合冷却,减少管道、省去机动平台内部油箱,进而实现轻量化的集成式电动涵道动力装置设计。

    一种具有防护组件的计算机显示器

    公开(公告)号:CN219978774U

    公开(公告)日:2023-11-07

    申请号:CN202321251517.9

    申请日:2023-05-22

    Abstract: 本实用新型公开了一种具有防护组件的计算机显示器,属于显示屏技术领域,包括显示器本体、防护框以及显示器防护结构;防护框装设于显示器本体的四个侧面上,用于保护显示器本体的四个侧面;显示器防护结构安装在防护框上,用于保护显示器本体的正面;防护框包括外框、若干第一防撞球以及四个第二防撞球;外框的内壁面加工有一圈限位凸台;若干第一防撞球均匀排列并粘接于外框的内壁面上,四个第二防撞球粘接于外框的内壁面的四个拐角处,第一防撞球和第二防撞球用于通过缓冲作用保护显示器本体。本实用新型能够防止计算机显示器的显示屏受到外界尖锐或较硬物体刮擦和撞击而发生损坏。

Patent Agency Ranking