一种基于Flink流式计算网络的数据处理方法及系统

    公开(公告)号:CN113114499A

    公开(公告)日:2021-07-13

    申请号:CN202110377105.9

    申请日:2021-04-08

    Abstract: 本发明涉及一种基于Flink流式计算网络的数据处理方法及系统,属于数据处理技术领域,解决了现有技术中计算集群对数据的吞吐量低、处理效率低。该方法包括:获取Flink流式计算网络中每一对上游计算节点和下游计算节点之间流入下游计算节点的传输链路的容量、流量以及计算时延;当传输链路的计算时延不在预设范围内时,调整该传输链路的容量;根据Flink流式计算网络中每一对上游计算节点和下游计算节点之间流入下游计算节点的传输链路的流量、容量,获得Flink流式计算网络中每一传输链路的递增容量;进而确定递增容量最小的无环数据传输路径,并进行待处理数据流的传输与处理,该方法能够提高计算集群的数据吞吐量和对数据的处理效率。

    分布式存储系统中数据的修复方法及装置

    公开(公告)号:CN112445656A

    公开(公告)日:2021-03-05

    申请号:CN202011468257.1

    申请日:2020-12-14

    Abstract: 本发明涉及一种分布式存储系统中数据的修复方法及装置,属于数据修复技术领域,解决了现有技术中数据修复速度慢、可靠性和实用性差的问题。该方法包括,当分布式存储系统中的多个供应节点的任意一个发生故障时,将多个冗余节点中的一个作为新生供应节点;从控制器中获取新生供应节点的带宽数据值,并获取新生供应节点和其他每一供应节点间的网络距离;根据带宽数据值和网络距离,生成数据修复模型,根据数据修复模型传输数据编码块至新生供应节点;基于接收到的数据编码块利用配置的编解码算法修复失效的数据编码块。该方法通过实时监测存储节点的带宽,通过选择最佳带宽提高数据修复速度和数据修复的可靠性、可用性。

    面向装备离散制造的焊缝图像多类别分类方法

    公开(公告)号:CN118864967A

    公开(公告)日:2024-10-29

    申请号:CN202410930281.4

    申请日:2024-07-11

    Abstract: 本发明涉及一种面向装备离散制造的焊缝图像多类别分类方法,解决了现有焊缝检测方式难以保证质量以及焊缝缺陷识别不准确的问题。方法包括:获取焊缝样本图像构建训练数据集;基于训练数据集训练焊缝图像分类识别模型;焊缝图像分类识别模型包括基础特征提取模块、目标级注意力网络和跨模态长短期记忆网络;加载训练数据集至基础特征提取模块、经目标级注意力网络得到精细焊缝视觉特征;精细焊缝视觉特征通过softmax层与精细焊缝视觉特征进行跨模态对齐得到标签文本向量;加载训练数据集的焊缝缺陷标注和标签文本向量至跨模态长短期记忆网络,训练焊缝图像分类识别模型;利用训练好的焊缝图像分类识别模型识别焊缝底片,得到焊缝缺陷。

    一种数据包过滤方法及系统

    公开(公告)号:CN116132187B

    公开(公告)日:2024-05-14

    申请号:CN202310157948.7

    申请日:2023-02-23

    Abstract: 本发明涉及一种数据包过滤方法及系统,属于网络安全技术领域,解决了现有缺少对数据包传输来源和内容的过滤而无法满足高安全性的问题。包括从数据包的包头中提取出五元组信息;将五元组信息与预置规则的二叉决策树进行匹配,得到第一处理结果;如果第一处理结果是允许通过,则获取数据包中数据信息,根据数据信息中的业务场景,判断业务场景下的文件类型和密级标识是否存在于预置配置中,得到第二处理结果;否则丢弃数据包;如果第二处理结果是允许通过,则判断数据信息中的文件内容是否包含预置配置中的敏感词,得到第三处理结果;否则丢弃数据包;如果第三处理结果是允许通过,则转发数据包,否则丢弃数据包。实现了数据安全性的提升。

    基于多元网络安全设备的网络安全数据归一化处理方法

    公开(公告)号:CN113850069A

    公开(公告)日:2021-12-28

    申请号:CN202111095338.6

    申请日:2021-09-17

    Abstract: 本发明涉及一种基于多元网络安全设备的网络安全数据归一化处理方法,属于网络安全技术领域。该方法包括以下步骤:获取各网络安全设备的网络安全数据;其中,网络安全数据包括数据名称、设备类型、数据格式、编码格式及数据内容;每一种网络安全设备唯一对应一种设备类型;确定每一种网络安全设备的网络安全数据对应的数据解析法;对于每一种网络安全设备的网络安全数据,基于所述数据解析法及所述数据字段格式解析所述数据内容,生成数据内容解析结果;建立每一种网络安全设备的网络安全数据的数据格式与归一化数据格式之间的映射关系;基于所述映射关系,将生成的数据内容解析结果映射至归一化数据格式中,得到归一化的数据集。

    基于资源合理化应用的虚拟化集群资源调度系统

    公开(公告)号:CN110865872A

    公开(公告)日:2020-03-06

    申请号:CN201911114824.0

    申请日:2019-11-14

    Abstract: 本发明属于虚拟化与云计算技术领域,具体涉及一种基于资源合理化应用的虚拟化集群资源调度系统。与现有技术相比较,本发明采用基于虚拟化集群的综合启发式高效资源调度系统,首先在资源资源调度触发阶段,在考虑CPU、内存、网络多阀值触发条件的基础上,加入动态综合负载条件,能够更加有效的均衡服务器的资源利用情况;然后在选择虚拟阶段,对由综合负载条件触发的调度问题,引入虚拟机资源匹配的计算方法,选择合理的虚拟机进行调度,调度过程能够更充分的利用物理服务器的资源,提升了物理服务器资源的利用率,同时降低由于负载峰值的震荡导致虚拟机的频繁迁移,以达到进一步提高处理器性能的目的。

    显卡透传环境下基于SPICE协议的差异图像显示方法

    公开(公告)号:CN110740352A

    公开(公告)日:2020-01-31

    申请号:CN201911115591.6

    申请日:2019-11-14

    Abstract: 本发明属于计算机科学技术领域,具体涉及一种显卡透传环境下基于SPICE协议的差异图像显示方法。与现有技术相比较,本发明通过比较虚拟机桌面图像产生差异图像数据,对差异图像数据的合并,差异图像数据的压缩。通过采用差异图像算法既能降低传输数据量,又能做到高清晰度低延时。由此,相比现有技术,本发明由于只将图像的差异部分传输给SPICE服务端,极大的降低了图像数据量,且将差异图像进行了合并,减少虚拟机I/O的传输次数,不再占用大量的虚拟机I/O,降低虚拟机性能。并且,由于只需要比较当前桌面和上一幅桌面就能发送一个数据报文,可以在获取桌面图像的同时将其发送给客户端,随抓随发,可以做到即时显示,降低延时。

    一种网络资产可视化与实时攻防系统

    公开(公告)号:CN117938698A

    公开(公告)日:2024-04-26

    申请号:CN202410165600.7

    申请日:2024-02-05

    Abstract: 本发明涉及一种网络资产可视与实时攻防系统,属资产管理领域,解决无法可视化管理及漏洞处置不及时。包括监控中心、统一监控平台和资产管理数据库通过交换机连接;资产管理数据库存储资产及基准属性数据;监控中心包括资产探测单元、可视化构建单元、安全策略定制与规则下发单元和自动巡检单元;资产探测单元资产探测获得资产及基准属性数据对资产管理数据库中数据更新;实时可视化构建单元构建可视化视图;安全策略定制与规则下发单元调整安全配置条目生成安全配置规则发至节点;自动巡检单元定期获取当前属性数据,基于基准属性数据与当前属性数据一致性得到风险评分及漏洞评估级别;统一监控平台显示可视化视图。实现了可视化管理与安全运营。

Patent Agency Ranking