一种基于cassandra数据库的文件合并的方法和装置

    公开(公告)号:CN111881092B

    公开(公告)日:2024-07-09

    申请号:CN202010576064.1

    申请日:2020-06-22

    Abstract: 本发明涉及数据库领域,特别是涉及一种基于cassandra数据库的文件合并的方法和装置。主要包括:接受数据库生成的数据文件,生成各磁盘的合并文件列表;各磁盘的合并进程获取相应磁盘的合并文件列表,获取各磁盘的合并文件列表中需合并的数据文件大小;启动;数据库的并行合并进程,计算各磁盘的合并进程获取到数据文件大小的总和数据文件大小的总和达到合并文件阈值时,并行合并进程一次性合并所有磁盘中需合并的数据文件。本发明可以在使用较少合并层次和临时文件的情况下及时对小文件进行合并,减少合并次数、减少磁盘中文件占用空间、减少磁盘IO次数和磁盘IO争抢,提高了文件合并的性能,提高了数据库的读写稳定性。

    一种基于Hadoop分布式文件系统的数据分发方法和装置

    公开(公告)号:CN117807131A

    公开(公告)日:2024-04-02

    申请号:CN202311844714.6

    申请日:2023-12-29

    Abstract: 本发明涉及数据处理技术领域,提供了一种基于Hadoop分布式文件系统的数据分发方法和装置。方法包括:在每个周期开始时,计算已写入到服务器中的数据的大小,根据已写入到服务器中的数据的大小,计算服务器的空间占用率,根据各服务器之间的空间占用率的关系,确定该周期的分发策略;在相应周期内,使用该周期的分发策略将待写数据分发到一个或多个服务器中;其中,所述分发策略用于指定各类型的待写数据所需写入的服务器。本发明使每个周期对应一种分发策略,则用于写入相应类型的待写数据的DataNode节点仅需与分发策略所确定下来的服务器进行通信,而无需与分发策略以外的服务器进行通信,从而减少网络资源的占用,提高数据分发的速度,减少卡顿。

    一种基于SSH对服务器进行检测的方法和装置

    公开(公告)号:CN111541591A

    公开(公告)日:2020-08-14

    申请号:CN202010655264.6

    申请日:2020-07-09

    Abstract: 本发明涉及服务器硬件检测技术领域,提供了一种基于SSH对服务器进行检测的方法和装置,方法包括:将各待检测服务器的主机名和IP地址保存到参数文件中;在利用SSH进行集群管理之前,逐行读取参数文件中的参数,并基于读取的IP地址对各待检测服务器执行SSH检测命令;实时监控每次SSH执行是否超时,如果超时则修改参数文件中对应的IP地址为不可达IP,并将对应的主机名和IP地址添加到故障机器列表中。本发明在不改变SSH的前提下,利用线程的异步原理与黑名单组合的方法来主动检测SSH卡死故障,可辅助管理节点在未知异常情况下正常管理失败节点,而不会出现SSH永久性卡死,增强了集群的健壮性,且维护成本低。

    一种基于ClickHouse的数据分发方法和装置

    公开(公告)号:CN117785979A

    公开(公告)日:2024-03-29

    申请号:CN202311844716.5

    申请日:2023-12-29

    Abstract: 本发明涉及数据处理技术领域,提供了一种基于ClickHouse的数据分发方法和装置。方法包括:关闭master节点的数据写入功能,并使各ETL与各数据库实例直接建立通信;ETL向各数据库实例写入测试数据,根据测试数据写入结果,判断数据库实例是否可用,若数据库实例可用,则ETL根据待写数据的大小,将待写数据直接分发到一个或多个数据库实例中。本发明通过关闭master节点的数据写入功能,并在各ETL与各数据库实例之间直接建立通信,从而无需使用master节点进行数据转发,而是直接通过ETL将数据写入到数据库实例中,能够打破master节点对于数据写入速度的限制,以满足大数据采集量和快速采集场景下的数据写入速率需求。

    一种基于cassandra数据库的文件合并的方法和装置

    公开(公告)号:CN111881092A

    公开(公告)日:2020-11-03

    申请号:CN202010576064.1

    申请日:2020-06-22

    Abstract: 本发明涉及数据库领域,特别是涉及一种基于cassandra数据库的文件合并的方法和装置。主要包括:接受数据库生成的数据文件,生成各磁盘的合并文件列表;各磁盘的合并进程获取相应磁盘的合并文件列表,获取各磁盘的合并文件列表中需合并的数据文件大小;启动;数据库的并行合并进程,计算各磁盘的合并进程获取到数据文件大小的总和数据文件大小的总和达到合并文件阈值时,并行合并进程一次性合并所有磁盘中需合并的数据文件。本发明可以在使用较少合并层次和临时文件的情况下及时对小文件进行合并,减少合并次数、减少磁盘中文件占用空间、减少磁盘IO次数和磁盘IO争抢,提高了文件合并的性能,提高了数据库的读写稳定性。

    一种Hadoop支持IPv6环境的方法和装置

    公开(公告)号:CN117812038A

    公开(公告)日:2024-04-02

    申请号:CN202311844712.7

    申请日:2023-12-29

    Abstract: 本发明涉及数据处理技术领域,提供了一种Hadoop支持IPv6环境的方法和装置。方法包括:修改hdfs‑core.xml配置文件,打开Hadoop的使用主机名称进行网络连接的功能;使用getXferAddrWithHostname()函数获取主机的主机名称;将所述主机地址传递到createSocketAddr()函数中,得到InetSocketAddress对象,使用所述InetSocketAddress对象与所述主机建立socket连接;所述createSocketAddr()函数中调用getIpAddressByHostName()函数,以根据所述主机名称获取主机地址,createSocketAddr()函数支持对IPv6类型的主机地址的解析。本发明通过对Hadoop进行修改,使Hadoop能够支持在IPv6环境下的运行。

    一种高铁移动网络用户识别方法和系统

    公开(公告)号:CN110392341A

    公开(公告)日:2019-10-29

    申请号:CN201910728738.2

    申请日:2019-08-08

    Abstract: 本发明涉及移动通信领域,具体涉及一种高铁移动用户识别方法和系统,包括以下步骤:获得进入高铁移动网络区域内的移动终端用户信息;判断移动终端用户是否为已购高铁票用户,如移动终端用户为已购高铁票用户,将移动终端用户标记为疑似高铁移动网络用户;判断疑似高铁移动网络用户是否通过进站口进入站台,将进入站台的可能的移动网络用户标记为高铁站台小区用户;判断高铁站台小区用户是否随高铁移动,将随高铁移动的高铁站台小区用户标记为高铁专网小区用户。本发明通过高铁购票系统及进站系统对高铁移动网络区域内的用户进行初步识别,减少用户识别数量提高识别效率,再根据用户移动轨迹及速度进行确认,提高了识别准确度。

    一种高铁移动网络用户识别方法和系统

    公开(公告)号:CN110392341B

    公开(公告)日:2021-03-30

    申请号:CN201910728738.2

    申请日:2019-08-08

    Abstract: 本发明涉及移动通信领域,具体涉及一种高铁移动用户识别方法和系统,包括以下步骤:获得进入高铁移动网络区域内的移动终端用户信息;判断移动终端用户是否为已购高铁票用户,如移动终端用户为已购高铁票用户,将移动终端用户标记为疑似高铁移动网络用户;判断疑似高铁移动网络用户是否通过进站口进入站台,将进入站台的可能的移动网络用户标记为高铁站台小区用户;判断高铁站台小区用户是否随高铁移动,将随高铁移动的高铁站台小区用户标记为高铁专网小区用户。本发明通过高铁购票系统及进站系统对高铁移动网络区域内的用户进行初步识别,减少用户识别数量提高识别效率,再根据用户移动轨迹及速度进行确认,提高了识别准确度。

Patent Agency Ranking