一种分布式日志收集方法

    公开(公告)号:CN107590182B

    公开(公告)日:2020-06-19

    申请号:CN201710654304.3

    申请日:2017-08-03

    Abstract: 本发明公开了一种分布式的日志收集方法,包括:采用双缓冲机制对日志数据进行收集;采用基于主/从Reactor模式对日志数据进行分级转发;采用LVS+Keepalived模式将并发的业务请求合理分配给各服务节点;采用基于Flume NG复合双通道对日志数据进行清洗、过滤;最终对日志数据进行读取。相较于传统日志收集方法,本分布式日志收集方法创新性地提出基于双缓冲机制的非阻塞日志收集方案、基于主/从Reactor模式的分级日志转发方案、基于Flume NG复合双通道的日志系统与数据清洗平台方案,使得系统对日志的收集效率更高,并且收集并落地存储的日志数据更加符合分析人员的需求,降低后期数据分析的时间成本。

    一种高可靠的集群运维管理方法

    公开(公告)号:CN106100894B

    公开(公告)日:2019-04-09

    申请号:CN201610542731.8

    申请日:2016-07-11

    Abstract: 本专利公开了一种高可靠的集群运维管理平台方法,具体包括:(1)高可靠集群管控命令的web接入与http形式的调度发布:搭建集群运维web管理平台,实现集群的远程管理和可视化管理,从接入层、调度层、中控层通过负载均衡技术,冗余容错,实现集群运维web管理的可靠性;(2)高可靠集群管控命令的传输与下发:数据传输过程中,使用AES、RC4算法分别对传输数据与AES密钥加密,加密后的数据base64编码后由ssh隧道传输,实现集群运维管理的数据可靠性。(3)高可靠集群管控命令的执行与反馈:搭建可扩展集群运维中央运维控制系统,支持多种配置管理框架,支持用户自定义配置框架,实现集群运维管理的中控可靠性。

    一种基于集成学习的产品质量控制方法

    公开(公告)号:CN108764597A

    公开(公告)日:2018-11-06

    申请号:CN201810281599.9

    申请日:2018-04-02

    Abstract: 本发明公开了一种基于集成学习的产品质量控制方法,对于预测生产流程中不同进度下产品关键质量指标(良品率),包括以下步骤:(1)基于注塑工艺数据的数据分析;(2)特征工程分析与构建;(3)基于集成学习的模型设计;(4)数据不平衡处理;(5)多模型融合处理方案。对于对生产过程中工艺参数进行最优预设值推荐,包含如下步骤:(6)整体的工艺可调整参数推荐;(7)针对特定的工艺不可调整参数,对工艺可调参数进行推荐。本发明适用于处理工业数据中数据不平衡的特点,突破传统产品质量控制单一的参数分析方式,通过使用机器学习的特征工程构建,挖掘出参数之间内在的特征联系,来发现生产过程的异常,提高产品的质量控制。

    一种分布式日志收集方法

    公开(公告)号:CN107590182A

    公开(公告)日:2018-01-16

    申请号:CN201710654304.3

    申请日:2017-08-03

    Abstract: 本发明公开了一种分布式的日志收集方法,包括:采用双缓冲机制对日志数据进行收集;采用基于主/从Reactor模式对日志数据进行分级转发;采用LVS+Keepalived模式将并发的业务请求合理分配给各服务节点;采用基于Flume NG复合双通道对日志数据进行清洗、过滤;最终对日志数据进行读取。相较于传统日志收集方法,本分布式日志收集方法创新性地提出基于双缓冲机制的非阻塞日志收集方案、基于主/从Reactor模式的分级日志转发方案、基于Flume NG复合双通道的日志系统与数据清洗平台方案,使得系统对日志的收集效率更高,并且收集并落地存储的日志数据更加符合分析人员的需求,降低后期数据分析的时间成本。

    基于统计预测的云CDN资源自动部署方法

    公开(公告)号:CN102801792B

    公开(公告)日:2015-04-22

    申请号:CN201210262103.6

    申请日:2012-07-26

    CPC classification number: Y02D50/10

    Abstract: 本发明公开了基于统计预测的云CDN资源自动部署方法,其根据云CDN各边缘节点负载的历史数据预测未来24小时负载预测值,制定相应边缘节点的虚拟服务器资源部署计划,对云CDN各边缘节点进行虚拟服务器资源部署;实时监控云CDN各边缘节点负载情况,当云CDN处于用户访问高峰期时,云平台将配置好相关业务的镜像挂载到虚拟服务器中并启动加入到云CDN各边缘节点当中,分摊突发的访问压力;当云CDN处于非访问高峰期时,只保留维持业务正常水平运行的虚拟服务器,将闲置的虚拟服务器资源回收到资源池中。该方法不仅能有效应对突发的业务高峰,提高CDN的资源利用率,而且降低了CDN的能耗和运维成本。

    一种基于云存储的多方电子邮件附件共享的管理方法

    公开(公告)号:CN103428298A

    公开(公告)日:2013-12-04

    申请号:CN201310390638.6

    申请日:2013-08-30

    Abstract: 本发明公开了一种基于云存储的多方电子邮件附件共享的管理方法,包括以下步骤:S101、用户打开邮箱撰写邮件,如本次撰写的邮件中需要发送附件,则执行步骤S102,否则,执行步骤S103;S103、发件人的电子邮件服务器传送协议发送消息到收件人所在的电子邮件服务器中,如协议发送消息中包含附件,则将附件的文件名以及访问发件人云存储的准入信息发送至收件人所在的电子邮箱服务器中,否则,转到步骤S105;S104、对附件进行分布式存储与同步更新;S105、收件人通过邮局协议第三版或交互式数据消息访问协议第四版接收邮件消息;S106、如果邮件中含有附件,则访问发件人云存储并下载附件。具有节省网络带宽等优点。

    一种实现快速业务开发的服务端业务层逻辑架构

    公开(公告)号:CN106909368B

    公开(公告)日:2021-07-20

    申请号:CN201710019824.7

    申请日:2017-01-12

    Abstract: 本发明公开了一种实现快速业务开发的服务器端业务层逻辑架构。该架构由三层组成,包括网络通信层、核心处理层和应用服务集成层。所述网络通信层用于高效处理网络通信信息,利用反向控制的技术实现层间解耦,所述核心处理层利用流模式与状态机机制对业务处理流程进行合理的拆分和组织,使得业务处理流程清晰而规范,所述应用服务集成层集成了多种高级通用的应用服务工具,如配置服务、日志服务、错误码集合、通用字符串处理工具、时间处理工具及一些常用的算法等。本架构实现了服务的自动加载处理以及规范了业务流的处理流程,并且提供了丰富的开发工具,可以简化业务功能处理流程和降低开发复杂度,加快业务开发者的业务逻辑开发的进度。

    一种基于HTTP视频流动态自适应码率选择方法

    公开(公告)号:CN109714631A

    公开(公告)日:2019-05-03

    申请号:CN201910139536.4

    申请日:2019-02-26

    Abstract: 本发明公开了一种基于HTTP视频流动态自适应码率选择方法,该方法包括以下步骤:服务端将视频切片成N个片段,每个片段均具有K个不同码率等级;客户端从第1个片段开始依次下载视频片段,计算下载过程中每一秒的网络带宽以及下载完一个视频片段后的缓存时长;根据历史每秒实际网络带宽预测当前缓存时长范围内的平均网络带宽;结合预测平均网络带宽和缓存时长对下一个视频片段的码率进行选择;重复以上下载、预测、码率选择步骤直至视频下载完毕。本发明实现了在保证视频播放流畅性的前提下尽可能提高带宽利用率以及码率平滑性,提高视频质量,改善用户观看体验。

    一种实现快速业务开发的服务端业务层逻辑架构

    公开(公告)号:CN106909368A

    公开(公告)日:2017-06-30

    申请号:CN201710019824.7

    申请日:2017-01-12

    CPC classification number: G06F8/20 G06F9/5022 G06F2209/5011

    Abstract: 本发明公开了一种实现快速业务开发的服务器端业务层逻辑架构。该架构由三层组成,包括网络通信层、核心处理层和应用服务集成层。所述网络通信层用于高效处理网络通信信息,利用反向控制的技术实现层间解耦,所述核心处理层利用流模式与状态机机制对业务处理流程进行合理的拆分和组织,使得业务处理流程清晰而规范,所述应用服务集成层集成了多种高级通用的应用服务工具,如配置服务、日志服务、错误码集合、通用字符串处理工具、时间处理工具及一些常用的算法等。本架构实现了服务的自动加载处理以及规范了业务流的处理流程,并且提供了丰富的开发工具,可以简化业务功能处理流程和降低开发复杂度,加快业务开发者的业务逻辑开发的进度。

    基于DCT的分辨率可伸缩图像编解码方法

    公开(公告)号:CN101127903A

    公开(公告)日:2008-02-20

    申请号:CN200710030646.4

    申请日:2007-09-29

    Abstract: 本发明提供一种基于DCT的分辨率可伸缩图像编解码方法,在编码过程中,对原始图像或视频帧分块为(4×N)2×(4×N)2的宏块,然后将宏块切割成(4×N)×(4×N)的码块,利用DCT量化后码块中系数的频率及其在块中的对应位置关系,以及分辨率特性,将同一频率安排在同一个重组编码块,按照分辨率的优先级进行编码;在解码过程中,根据接收到的重组编码块的频率还原其在原始宏块中DCT位置,并根据当前编码块的分辨率等级选择IDCT编码模块重建分辨率可伸缩图像,这种编码解码方式可以根据各种不同的接收终端传输相应的编码码流从而可以有效的节省传输带宽,实现比DWT更灵活的分辨率可伸缩编解码。

Patent Agency Ranking