公开(公告)号：CN114936703A

公开(公告)日：2022-08-23

申请号：CN202210611970.X

申请日：2022-05-31

Applicant: 哈尔滨理工大学

Inventor： 曾昱榆 ,  张宇 ,  朱昕晟 ,  高岚 ,  李彦儒 ,  费智健

IPC: G06Q10/04 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了基于改进Transformer模型的上市公司财务违规预测方法，属于财务违规预测技术领域，本发明采用了Bi‑LSTM+FNN的设计，加上通过叠加Self‑Attention层提高模型长距离捕获特征能力的机制，使得模型有更强的长距离特征捕获能力，使得模型更注重于特征之间的相关性，更适用于处理如财务数据的特征位置固定的结构化数据；此外，本发明通过三层注意力层的堆栈加深了网络深度，提供了并行计算的可能，提高了计算的速度，同时舍弃了Positional Encoding，降低了其计算的复杂度，使之更匹配于预测如财务数据等结构性数据，同时再次提高了模型的计算速度；有利于实现对上市公司财务违规进行高效且准确的预测，有利于辅助相关监管部门提高监管效率。