本申请公开大语言模型长文本输出方法、装置、设备及存储介质，涉及处理器领域，根据提示语的语义信息提取并保存对应的KV值；提取长文本持续输出时的第i轮KV值并计算第i轮词元，根据该轮词元生成文本信息；确定第i轮KV值对应的第i轮KV集合的长度，根据集合长度将KV集合以文本生成顺序进行切分和过滤，获得第i+1轮KV值的KV集合；将第i+1轮KV值替换显存中的第i轮KV值，并生成第i+1轮词元和生成对应文本信息。该方案将累计的KV值根据时间切分，每轮迭代对邻近部分保留，远离部分适当筛选后组成新的集合，将每轮迭代的KV值压缩后大幅减小显存同时，又保留长文本输出前后语义信息间的关联性。