基于上下文分析的长期序列依赖性模型优化方法及系统

    公开(公告)号:CN118468936A

    公开(公告)日:2024-08-09

    申请号:CN202410658872.0

    申请日:2024-05-27

    Abstract: 本发明公开了一种基于上下文分析的长期序列依赖性模型优化方法及系统,包括S1、收集并对数据进行预处理;S2、使用Transformer模型对预处理后的序列数据进行多维度上下文分析,同时考虑时间维度、空间维度和语义维度;S3、采用自适应序列长度处理机制,根据序列数据的实际长度和复杂性动态调整Transformer模型的结构和参数;S4、采用SMOTE技术和基于注意力机制的数据采样策略,结合数据增强技术和不平衡数据处理方法;S5、采用混合正则化策略,结合L1、L2正则化和自定义的结构稀疏正则化方法进行最终的训练。本发明实现了对时间序列、空间序列和语义序列数据的深入分析和优化处理。

Patent Agency Ranking