公开(公告)号：CN114023412A

公开(公告)日：2022-02-08

申请号：CN202111396853.8

申请日：2021-11-23

Applicant: 大连海事大学

Inventor： 张益嘉 ,  李兴旺 ,  李晓博

IPC: G16H10/60 ,  G06Q10/04 ,  G06N3/08 ,  G06N3/04 ,  G06K9/62 ,  G06F40/30

Abstract: 本发明公开了一种基于联合学习和去噪机制的ICD代码预测方法及系统，涉及自然语言处理技术领域，使用clinicalBERT预训练，设计了基于提示的微调方法，提升冗长句子的表征效果，加快预训练的速度；使用双路注意力机制处理电子病历和医疗代码的文档，同时兼顾两部分数据，有效处理不平衡分类问题；将不同的注意力矩阵馈送到联合学习模块，引入两个权重系数，来自适应的确定这两个系数，通过这两个系数构建特定于ICD的注意力矩阵；设计了新型的去噪损失函数，引入损失阈值，计算样本损失，并进行排序，从超过阈值的样本开始截断，丢弃迭代过程中超过动态阈值的样本，最终识别和清洗嘈杂的样本，提高分类器的训练质量。

公开(公告)号：CN114023412B

公开(公告)日：2024-06-21

申请号：CN202111396853.8

申请日：2021-11-23

Applicant: 大连海事大学

Inventor： 张益嘉 ,  李兴旺 ,  李晓博

IPC: G16H10/60 ,  G06Q10/04 ,  G06F18/213 ,  G06N3/0442 ,  G06N3/0499 ,  G06N3/098 ,  G06F40/30

Abstract: 本发明公开了一种基于联合学习和去噪机制的ICD代码预测方法及系统，涉及自然语言处理技术领域，使用clinicalBERT预训练，设计了基于提示的微调方法，提升冗长句子的表征效果，加快预训练的速度；使用双路注意力机制处理电子病历和医疗代码的文档，同时兼顾两部分数据，有效处理不平衡分类问题；将不同的注意力矩阵馈送到联合学习模块，引入两个权重系数，来自适应的确定这两个系数，通过这两个系数构建特定于ICD的注意力矩阵；设计了新型的去噪损失函数，引入损失阈值，计算样本损失，并进行排序，从超过阈值的样本开始截断，丢弃迭代过程中超过动态阈值的样本，最终识别和清洗嘈杂的样本，提高分类器的训练质量。