文件处理方法、装置及电子设备
    11.
    发明公开

    公开(公告)号:CN119645944A

    公开(公告)日:2025-03-18

    申请号:CN202411836043.3

    申请日:2024-12-13

    Abstract: 本公开涉及一种文件处理方法、装置及电子设备,涉及云计算技术领域,其中方法包括:获取数据文件集;依次确定数据文件集中每个文件的第一数据内聚值,第一数据内聚值用于衡量每个文件内部键的内聚程度;依据第一数据内聚值确定第一目标文件之间的第二数据内聚值,第一目标文件为从数据文件集中挑选的文件,第二数据内聚值用于衡量第一目标文件之间键的重合程度;根据第二数据内聚值,选择第二目标文件作为待压实文件,第二目标文件为从第一目标文件中挑选的文件,通过本公开方案,可以准确识别出数据文件集中最需要被压实的待压实文件,提高查询效率。

    基于多路信号控制云台的方法、装置、芯片及存储介质

    公开(公告)号:CN116800859A

    公开(公告)日:2023-09-22

    申请号:CN202211175147.5

    申请日:2022-09-26

    Abstract: 本申请公开了一种基于多路信号控制云台的方法、装置、芯片及存储介质,所述方法应用于多路信号整合模块,所述多路信号整合模块具有多个接口,所述多个接口中的每个接口均支持多种通信协议的输入信号,所述方法包括:确定所述多个接口对应的通信协议,并配置所述多个接口采用对应的通信协议进行工作;在所述多个接口采用对应的通信协议进行工作的情况下,通过所述多个接口接收并识别多路输入信号,并从识别出的所述多路输入信号中选择一路输入信号作为输出信号;通过所述输出信号控制云台。从而实现能够接收使用不同通信协议的输入信号,并且能够从多路输入信号中选择一路输入信号作为输出信号实现对云台的控制。

    大数据集群部署方法、设备及存储介质

    公开(公告)号:CN119025263A

    公开(公告)日:2024-11-26

    申请号:CN202410996822.3

    申请日:2024-07-24

    Abstract: 本公开提供一种大数据集群部署方法、设备及存储介质,该方法包括读取大数据集群各节点上组件的时序监控数据,将时序监控数据输入时序预测大模型和一个以上不同架构的小模型,采用交互式自省差异学习算法进行模型训练,获取训练好的大模型和小模型;将待部署组件的时序监控数据分别输入训练好的大模型和小模型中处理获取对应的预测结果,并通过协同信任投票算法将训练好的大模型和小模型对应的预测结果进行融合,得到融合后的预测结果;基于融合后的预测结果确定从数据集群各节点中确定最优节点,在最优节点上部署待部署组件,无需人工读取监控数据进行判断,提升了部署效率和资源利用率。

    数据处理方法、装置、电子设备和计算机存储介质

    公开(公告)号:CN113722084A

    公开(公告)日:2021-11-30

    申请号:CN202010451615.1

    申请日:2020-05-25

    Abstract: 本发明提出了一种数据处理方法、装置、电子设备和计算机存储介质,该方法包括:在接收FTP客户端发送的数据传输指令后,确定已注册的各个数据传输进程,每个数据传输进程表示实现所述FTP客户端与分布式文件系统DFS之间的数据交互的进程,所述已注册的数据传输进程的进程数大于1;控制所述已注册的各个数据传输进程中的至少一个数据传输进程,进行所述FTP客户端与分布式文件系统DFS之间的数据交互。如此,服务器端可以通过多个数据传输进程实现FTP客户端与DFS的数据交互,有利于解决相关技术中单个FTP服务器的资源有限的问题,可以适用于大规模数据传输的场景。

    一种SQL语句生成方法、装置、设备及存储介质

    公开(公告)号:CN115687387A

    公开(公告)日:2023-02-03

    申请号:CN202110850578.6

    申请日:2021-07-27

    Abstract: 本申请公开一种SQL语句生成方法、装置、设备及存储介质,该方法包括:获取原始SQL语句;原始SQL语句包括主表元数据;对原始SQL语句进行解析,生成第一语法树;基于预设主表元数据与M组子表元数据的映射关系,利用M组子表元数据分别对第一语法树中主表元数据进行替换,得到M个第二语法树;对M个第二语法树进行反解析,生成M个子SQL语句。如此,根据预设的统一映射关系,对中心集群下发的原始SQL语句进行转换可自动生成匹配M个边缘集群的子SQL语句,这样的转换过程无需人工干预,且转换标准统一,保证边缘集群获得的子SQL语句的正确性,便于中心集群统计各个边缘集群的数据。

    一种Hadoop集群仿真测试方法、装置及存储介质

    公开(公告)号:CN111159004A

    公开(公告)日:2020-05-15

    申请号:CN201811318559.3

    申请日:2018-11-07

    Abstract: 本发明涉及计算机应用技术领域,公开了一种Hadoop集群仿真测试方法、装置及存储介质,用于减少Hadoop测试集群调优的成本和周期,提高Hadoop生产集群运行速度和运行的稳定性,所述方法包括:获取Hadoop生产集群在实际运行中产生的资源使用状况信息和作业信息,并根据所述资源使用状况信息和作业信息,生成模拟Hadoop生产集群实际运行的作业的仿真作业,再运行所述仿真作业,并根据运行过程中的性能反馈,对Hadoop参数进行调优测试,最后根据调优测试结果,对所述Hadoop生产集群中的Hadoop参数进行调优。

Patent Agency Ranking