一种大语言模型下的动态推理方法和系统

    公开(公告)号:CN119150863B

    公开(公告)日:2025-03-18

    申请号:CN202411566454.5

    申请日:2024-11-05

    Abstract: 针对用户输入的多样性以及大语言模型在处理复杂和简单查询时的资源消耗差异问题,本发明提出了一种大语言模型下的动态推理方法和系统,通过将用户输入的提示语句进行分词处理,并利用两个不同的识别模型分别计算每个分词的匹配度,进而计算出推理控制因子。该推理控制因子用于指导大语言模型内部的动态推理过程,具体是通过调整Key‑Value缓存的管理策略来实现的。在当前token与上下文token之间的相对距离超过由推理控制因子确定的范围时,相关的Key和Value会被从缓存中移除。这种方法有效地平衡了存储空间的使用和推理效率,使得大语言模型能够根据不同类型的用户输入动态调整其内部资源分配,从而提高了整体的响应速度和准确性。

    一种基于对象语义的图像生成方法、系统和介质

    公开(公告)号:CN119379842A

    公开(公告)日:2025-01-28

    申请号:CN202411987699.5

    申请日:2024-12-31

    Abstract: 本发明提出了一种基于对象语义的图像生成方法、系统及介质,旨在通过智能处理用户提供的原始图像和设计提示词来生成符合预期效果的新图像。该方法首先利用目标对象提取模块从原始图像中识别出具有独立语义的物体,并生成对应的轮廓掩码;接着将设计提示词送入语义分析模型,获取包含主体对象信息和模板效果信息的设计参数。随后根据这些参数,图像生成引擎创建一系列局部图像,并依据每个局部图像与相应目标对象的关联度进行权重排序。最终结合逻辑滤波函数与金字塔映射函数将局部图像融合到原始图像中,通过图像增强模型优化合成图像的质量。本发明能够高效地结合图像布局与用户设计意图,为室内设计等领域提供灵活且高质量的图像创作解决方案。

    一种大语言模型下的动态推理方法和系统

    公开(公告)号:CN119150863A

    公开(公告)日:2024-12-17

    申请号:CN202411566454.5

    申请日:2024-11-05

    Abstract: 针对用户输入的多样性以及大语言模型在处理复杂和简单查询时的资源消耗差异问题,本发明提出了一种大语言模型下的动态推理方法和系统,通过将用户输入的提示语句进行分词处理,并利用两个不同的识别模型分别计算每个分词的匹配度,进而计算出推理控制因子。该推理控制因子用于指导大语言模型内部的动态推理过程,具体是通过调整Key‑Value缓存的管理策略来实现的。在当前token与上下文token之间的相对距离超过由推理控制因子确定的范围时,相关的Key和Value会被从缓存中移除。这种方法有效地平衡了存储空间的使用和推理效率,使得大语言模型能够根据不同类型的用户输入动态调整其内部资源分配,从而提高了整体的响应速度和准确性。

Patent Agency Ranking