一种针对语言模型的知识蒸馏方法及相关设备

    公开(公告)号:CN118132763A

    公开(公告)日:2024-06-04

    申请号:CN202410321142.1

    申请日:2024-03-20

    Abstract: 本发明提供了一种针对语言模型的知识蒸馏方法及相关设备,方法包括:根据第一语言模型构建初始的第二语言模型;以学习第一语言模型的语言建模能力为目标,采用通用领域的无标注语料对构建的第二语言模型进行训练;以学习第一语言模型的指令遵循能力为目标,采用通用领域的有标注语料对无监督训练后第二语言模型进行训练;以学习第一语言模型对齐人类价值观的能力为目标,采用通用领域的有标注语料对有监督训练后第二语言模型进行训练,得到最终的第二语言模型。本发明通过对第一语言模型进行分步知识蒸馏,可获得具备第一语言模型所具备能力的第二语言模型,这样的第二语言模型易在真实场景中部署应用,能够解决多种任务,应用范围较广。

    指标解读的处理方法、相关插件的使用方法及相关设备

    公开(公告)号:CN117688143A

    公开(公告)日:2024-03-12

    申请号:CN202311384924.1

    申请日:2023-10-23

    Abstract: 本申请提供一种指标解读的处理方法、相关插件的使用方法及相关设备,医疗场景中指标解读的处理方法包括:对问题信息进行结构化信息抽取,得到至少一个关键信息字段及其在问题信息中对应的字段值,其中,至少一个关键字段及其在问题信息中对应的字段值用于形成问题信息的信息抽取结果;对问题信息中至少一个关键信息字段中的待解读关键信息字段的字段值进行标准化,得到标化字段值;利用预设引擎,获取标化字段值对应的至少一个知识;将信息抽取结果和至少一个知识进行融合,以生成回答患者问题的回答范式,本申请的方案,增加了标化流程,保证了回答的合理性,通过预设引擎获取至少一个知识,辅助生成回答范式,使生成的回答范式更加合理准确。

    一种文本生成方法、装置、设备和存储介质

    公开(公告)号:CN117473954A

    公开(公告)日:2024-01-30

    申请号:CN202311383422.7

    申请日:2023-10-24

    Abstract: 本申请提供了一种文本生成方法、装置、设备和存储介质,涉及人工智能技术领域。主要技术方案包括:利用大语言模型(LLM)的嵌入层获取文本模态的输入数据对应的特征表示;利用非文本模态对应的编码器对非文本模态的输入数据进行编码,得到非文本模态的输入数据对应的第一特征表示,利用非文本模态对应的转化器将第一特征表示转换至LLM的嵌入层采用的特征空间,得到非文本模态的输入数据的第二特征表示;对文本模态的输入数据对应的特征表示和非文本模态的输入数据对应的第二特征表示进行融合,将融合得到的特征表示提供给LLM,由LLM利用融合得到的特征表示生成输出文本。本申请能够提高LLM在多模态输入数据上的文本生成效果。

    数据处理方法、装置、电子设备及存储介质

    公开(公告)号:CN117409919A

    公开(公告)日:2024-01-16

    申请号:CN202311382036.6

    申请日:2023-10-23

    Abstract: 本申请提供一种数据处理方法、装置、电子设备及存储介质,所述数据处理方法,对预训练的生成式语言模型进行基于体检报告信息的预训练以及体检报告解读任务微调训练,得到能够基于体检信息进行体检报告解读的报告解析模型。在此基础上,从体检报告中获取体检信息,然后生成至少包含体检信息和体检报告解读任务描述信息的任务提示指令,将该任务提示指令输入上述预先训练的报告解析模型,即可得到对体检报告的解析结果。上述方案实现了体检报告的自动解读,因此能够提高体检报告解读效率。

    一种知识定位方法、装置、存储介质及设备

    公开(公告)号:CN117216226A

    公开(公告)日:2023-12-12

    申请号:CN202311386064.5

    申请日:2023-10-23

    Abstract: 本申请公开了一种知识定位方法、装置、存储介质及设备,该方法包括:首先获取待回复的目标问题文本;并利用目标问题文本,基于预设信息搜索引擎进行信息检索和信息解析,得到与目标问题文本相关的目标文本,然后利用目标文本和目标问题文本构建定位提示指令prompt,输入至预先构建的知识定位模型,得到知识定位模型输出的与目标问题文本相关的文本信息,接着,将目标问题文本以及与其相关的文本信息,输入通用生成模型,得到通用生成模型输出的针对目标问题文本的答复内容。可见,本申请是利用预先构建知识定位模型和通用生成模型的进行答复内容中每个字符的逐次生成,不仅能够提高定位结果的准确性,还可以生成更精确的问题回复。

    心理疏导方法、装置、设备及可读存储介质

    公开(公告)号:CN116580818A

    公开(公告)日:2023-08-11

    申请号:CN202310506338.3

    申请日:2023-05-05

    Abstract: 本申请公开了一种心理疏导方法、装置、设备及可读存储介质。该方案中,用户如果需要心理疏导,可发送心理疏导请求,在获取用户的心理疏导请求之后,首先生成心理疏导提示信息,然后,基于该心理疏导提示信息,向该用户进行主动发问,引导该用户进入多轮对话任务,在每轮对话任务的执行过程中,接收用户输入,并基于用户输入进行回复,最后基于多轮对话任务中的对话内容,即可生成能够指示该用户当前存在的心理问题以及针对该用户当前存在的心理问题的疏导建议的心理疏导结果,达到对用户进行心理疏导的目的。基于该方案,用户无需依赖心理学从业人员,即可实现心理疏导。

    处方审核方法及系统
    48.
    发明公开

    公开(公告)号:CN109920508A

    公开(公告)日:2019-06-21

    申请号:CN201811623534.4

    申请日:2018-12-28

    Abstract: 本发明公开了一种处方审核方法及系统,其中方法包括:提取病患的用药指征信息,并识别处方信息;根据所述用药指征信息以及预先训练的用药推荐模型,得到推荐药品信息;根据所述推荐药品信息、所述用药指征信息以及预设的专家规则库和医疗本体知识库,对所述处方信息中的用药医嘱进行合理性审核。本发明能够协助审方药师和医生在用药上更趋科学性、合理性,减少病患医疗费用和卫生资源的浪费,还能够及时发现不合理的药物使用情况,最大程度上减缓甚至解决药物滥用的问题。

    对话路径构建方法、对话路径生成方法及相关设备

    公开(公告)号:CN113887247B

    公开(公告)日:2024-12-17

    申请号:CN202111234994.X

    申请日:2021-10-22

    Abstract: 本申请提供了一种对话路径构建方法、对话路径生成方法及相关设备,对话路径构建方法包括:从医学文本中获取若干对话要素以及若干对话要素分别对应的属性,根据各对话要素分别对诊断的影响情况和各对话要素分别对应的属性对各对话要素进行排序,以得到初始对话路径;对初始对话路径进行调整,以得到最终构建出的对话路径,经由本申请提供的对话路径构建方法可自动构建出对话路径,在此基础上,本申请还提供了对话路径生成方法,该方法利用对话路径生成模型生成对话路径,由于对话路径生成模型采用通过上述方法构建出的大量对话路径训练得到,因此,对话路径生成模型性能较佳,利用性能较佳的对话路径生成模型能够生成较为合理的对话路径。

Patent Agency Ranking