一种基于控制流与数据流协同的高通量数据压缩传输方法

    公开(公告)号:CN117749908A

    公开(公告)日:2024-03-22

    申请号:CN202311628607.X

    申请日:2023-12-01

    IPC分类号: H04L69/16 H04N19/42

    摘要: 本发明涉及数据传输和数据压缩技术领域,具体涉及一种基于控制流与数据流协同的高通量数据压缩传输方法。包括:步骤一、控制流分析:分析传输数据的需求和特征;步骤二、数据压缩:发送端将原始数据进行分块处理,并利用压缩算法对数据流进行压缩处理;步骤三、控制流优化:发送端将压缩后的数据流与控制流协同打包,形成数据包;步骤四、数据传送:发送端通过网络将数据包传输到接收端;步骤五、数据流解压:接收端接收到数据包后,将数据包进行解包,分离出控制流和数据流;接收端根据控制流指令对数据流进行解压缩,并将解压后的数据流进行处理。该方法通过将控制流和数据流在传输过程中协同处理,实现高效的数据传输和压缩。

    一种高效的高通量计算任务调度方法

    公开(公告)号:CN118656181A

    公开(公告)日:2024-09-17

    申请号:CN202311571609.X

    申请日:2023-11-23

    IPC分类号: G06F9/48 G06F9/50

    摘要: 本发明提出了一种高效的高通量计算任务调度方法,所述高效的高通量计算任务调度算法基于对任务特性和系统资源状况的全面分析和评估,采用多策略综合考虑的方式来实现任务调度,其步骤包括:步骤一、对计算任务特性分析,包括任务的计算复杂度、执行时间和依赖关系;步骤二、对系统资源进行监测和评估,包括计算节点的负载情况、网络带宽和存储容量;步骤三、计算任务调度策略制定,基于任务特性和系统资源状况,制定任务调度策略,确定任务的执行顺序和分配方式;步骤四、实时监测和动态调整,根据实际情况进行动态调整和优化;该算法能够根据计算任务的特性和系统资源的状况,合理地分配任务,提高计算效率和资源利用率。

    一种基于弱监督学习的云服务器配置异常识别方法

    公开(公告)号:CN116048912A

    公开(公告)日:2023-05-02

    申请号:CN202211636518.5

    申请日:2022-12-20

    摘要: 本发明涉及数据处理领域,具体涉及一种基于弱监督学习的云服务器配置异常识别方法主要包括以下步骤:S1:读取服务器基础配置信息,所述服务器基础配置信息包括离散变量与非离散变量,读取历史服务器使用时长;S2:将服务器基础配置信息作为CatBoost回归模型的特征变量,将历史服务器使用时长作为CatBoost回归模型的监督信息,得到服务器使用时长的预测模型;S3:将服务器基础配置信息中的非离散变量、使用服务器使用时长的预测模型得到的预期服务器使用时长作为孤立森林模型的特征变量,得到异常识别模型。本发明利用了服务器使用时长作为服务器搭配异常问题的弱监督信号,从而提升了模型的表现力。

    一种基于容器技术的并行自动化GitOps系统

    公开(公告)号:CN116450300A

    公开(公告)日:2023-07-18

    申请号:CN202310487399.X

    申请日:2023-05-04

    摘要: 本发明涉及软件开发领域,具体涉及一种基于容器技术的并行自动化GitOps系统,包括:统一Gitlab代码仓库运行环境,存放开发人员提交的代码的环境,同时为容器化的中间件服务提供基础运行环境;统一流水线任务容器运行环境,运行持续集成工具,同时按照所属分支类型为属于不同分支的流水线任务挂载属于该分支单独的仓库;统一业务容器开发运行环境,提供各个不同业务系统项目的各个小组之间相互资源隔离的自测环境,同时为其中的微服务容器提供映射到宿主机的端口;统一业务容器测试运行环境;统一业务容器生产运行环境。本发明能够充分利用服务器的计算和存储能力,在保证各个项目没有环境冲突的情况下,能够有效节约服务器资源,提高资源利用率。

    基于大语言模型和知识图谱的问答系统、其构建方法及智能化数据治理平台

    公开(公告)号:CN117609470A

    公开(公告)日:2024-02-27

    申请号:CN202311681686.0

    申请日:2023-12-08

    摘要: 本发明提供了一种基于大语言模型和知识图谱的问答系统、其构建方法及智能化数据治理平台,解决了传统模型在处理离散变量时可能忽略的重要信息问题,从而实现了更准确和全面的数据分析。利用自然语言处理将用户查询转换为数据库命令,结合结构化和非结构化数据生成的知识图谱,提高了数据查询的效率和准确性。本发明通过langchain技术连接大型语言模型与图数据库,在数据处理和查询的速度、灵活性及扩展性方面具有显著优势,能够有效地处理大规模数据集,满足日益增长的数据需求。总体而言,本发明在提高数据处理效率、用户交互友好性、以及处理复杂数据关系和大量非结构化数据方面带来的改进,为现代数据密集型应用环境提供了强大的支持。

    基于大语言模型和知识图谱的问答系统、其构建方法及智能化数据治理平台

    公开(公告)号:CN117609470B

    公开(公告)日:2024-08-09

    申请号:CN202311681686.0

    申请日:2023-12-08

    摘要: 本发明提供了一种基于大语言模型和知识图谱的问答系统、其构建方法及智能化数据治理平台,解决了传统模型在处理离散变量时可能忽略的重要信息问题,从而实现了更准确和全面的数据分析。利用自然语言处理将用户查询转换为数据库命令,结合结构化和非结构化数据生成的知识图谱,提高了数据查询的效率和准确性。本发明通过langchain技术连接大型语言模型与图数据库,在数据处理和查询的速度、灵活性及扩展性方面具有显著优势,能够有效地处理大规模数据集,满足日益增长的数据需求。总体而言,本发明在提高数据处理效率、用户交互友好性、以及处理复杂数据关系和大量非结构化数据方面带来的改进,为现代数据密集型应用环境提供了强大的支持。

    一种基于弱监督学习的云服务器配置异常识别方法

    公开(公告)号:CN116048912B

    公开(公告)日:2024-07-30

    申请号:CN202211636518.5

    申请日:2022-12-20

    摘要: 本发明涉及数据处理领域,具体涉及一种基于弱监督学习的云服务器配置异常识别方法主要包括以下步骤:S1:读取服务器基础配置信息,所述服务器基础配置信息包括离散变量与非离散变量,读取历史服务器使用时长;S2:将服务器基础配置信息作为CatBoost回归模型的特征变量,将历史服务器使用时长作为CatBoost回归模型的监督信息,得到服务器使用时长的预测模型;S3:将服务器基础配置信息中的非离散变量、使用服务器使用时长的预测模型得到的预期服务器使用时长作为孤立森林模型的特征变量,得到异常识别模型。本发明利用了服务器使用时长作为服务器搭配异常问题的弱监督信号,从而提升了模型的表现力。