一种面向SparkSql的HDFS小文件实时合并实现方法

    公开(公告)号:CN108256115A

    公开(公告)日:2018-07-06

    申请号:CN201810142899.9

    申请日:2018-02-11

    Abstract: 本发明提供了一种面向SparkSql的HDFS小文件实时合并的实现方法,属于大数据处理技术领域。定期筛选HDFS中待合并的小文件,对得到的待合并小文件,生成合并小文件的Spark任务,并提交至Yarn上执行;对完成小文件合并的结果信息放置于待替换列表中;结合Zookeeper保持SparkSql在使用合并后文件替换被合并文件时维持正常运行;根据SparkSql实时检索数据库表的情况,在Zookeeper中注册和注销相应数据库表的读状态;在文件替换时,通过网络在SparkSql中进行文件元数据缓存增量更新。本发明可以在保持SparkSql正常运行的情况下,实现实时合并HDFS小文件,有效的提高SparkSql的检索效率,在大数据处理领域具有很强的实用性和应用范围,具有很广泛的应用前景。

    一种基于模糊逻辑的虚拟服务迁移方法

    公开(公告)号:CN105743985A

    公开(公告)日:2016-07-06

    申请号:CN201610173486.8

    申请日:2016-03-24

    CPC classification number: H04L67/327 H04L41/0823 H04L67/1004

    Abstract: 本发明提出一种基于模糊逻辑的虚拟服务迁移方法,包括以下步骤:1)服务迁移的参数采集:2)获取各迁移代价参数在模糊集合中的隶属度函数;3)通过模糊规则对各迁移代价参数组在模糊集合中的隶属度函数进行模糊推理,得到模糊输出;4)对该模糊输出进行非模糊化处理,得到对应各潜在节点的迁移参考值;5)根据所述迁移参考值,对各潜在节点排序,选取迁移参考值最小的潜在节点作为迁移的目标节点。能够有效综合各种因素对迁移的影响,通过模糊逻辑规则的建立和更新反映了不同参数对迁移的影响力的不同,并且通过对模糊逻辑规则库进行分析和判断,有效的验证网络行为的变化规律,对迁移进行预判和执行。

    DMA传送报文的方法
    26.
    发明公开

    公开(公告)号:CN104753813A

    公开(公告)日:2015-07-01

    申请号:CN201310740954.1

    申请日:2013-12-27

    Abstract: 本发明提供一种DMA传送报文的方法,应用于网卡,包括:控制核从内存中为每一个数据核分配一个拼包缓冲区;当网卡接收到报文时,数据核接收网络加速器的报文处理消息,并从该消息中获取报文长度信息,若该报文长度小于预定报文长度,则将该报文存入该数据核对应的拼包缓冲区;若该报文长度大于或等于预定报文长度,则启动DMA控制器执行DMA操作传送该报文给服务器;若数据核对应的拼包缓冲区内所有报文的总长度大于或等于预定报文长度,则启动DMA控制器执行DMA操作传送该报文给服务器;若报文总长度小于预定报文长度,则不作处理。本发明能够有效降低DMA的操作次数,提高PCIE通道带宽的有效利用率,从而提升了网卡小包的收包速率。

    一种恶意样本分类方法、装置、电子设备及存储介质

    公开(公告)号:CN116738329A

    公开(公告)日:2023-09-12

    申请号:CN202310544673.2

    申请日:2023-05-15

    Abstract: 本申请公开了一种恶意样本分类方法、装置、电子设备及存储介质,用以解决现有的恶意样本分类方法的准确度低的问题。所述恶意样本分类方法,包括:获取待处理恶意样本的通联流量信息,通联流量信息是待处理恶意样本运行过程中流经各个网络节点的数据流量信息;分别从每一待处理恶意样本的通联流量信息中提取各个会话阶段的会话通联信息,基于各个会话阶段的会话通联信息生成对应的会话通联信息序列;根据待处理恶意样本中的每两个待处理恶意样本对应的会话通联信息序列,分别确定每两个待处理恶意样本的相似度;根据每两个待处理恶意样本的相似度对待处理恶意样本进行分类,获得分类结果。

Patent Agency Ranking