-
公开(公告)号：CN109241112A
公开(公告)日：2019-01-18
申请号：CN201810989080.6
申请日：2018-08-28
Applicant: 北京明朝万达科技股份有限公司
IPC: G06F16/2455
Abstract: 本发明提供了一种数据处理方法及装置。所述方法包括：采用计算引擎对目标数据进行一次处理，获取对应的第一处理结果；将所述第一处理结果保存至预置数据存储服务器中；应用服务器从所述预置数据存储服务器中获取所述第一处理结果；所述应用服务器按照预置规则对所述第一处理结果进行二次处理，以得到二次处理结果。本发明能够避免直接将第一处理结果保存出搜索服务中，从而能够对第一处理结果进行二次处理，并且，避免了大量数据写入ElasticSearch而影响Spark的计算效率的问题，提高了数据处理速度。
-
公开(公告)号：CN108804503A
公开(公告)日：2018-11-13
申请号：CN201810324549.4
申请日：2018-04-12
Applicant: 北京明朝万达科技股份有限公司
IPC: G06F17/30
Abstract: 本发明公开了一种文档在线预览方法及系统，该方法包括以下步骤：将文档上传至文件服务器；文件服务器将所述文档转换为符合在线预览格式的文档；将转换后的文档返回给文件服务器；在数据库中存储上述转换后的文档在文件服务器中的地址；当用户通过浏览器或客户端向Web服务器请求预览上述文档时，Web服务器向所述数据库请求所述转换后的文档的存储地址，并根据返回的文档存储地址向所述文件服务器请求文档内容，将获取的文档内容返回给所述浏览器或客户端。通过本发明的方案，能够降低系统复杂度，减少预览等待时间。
-
公开(公告)号：CN118694563A
公开(公告)日：2024-09-24
申请号：CN202410674251.1
申请日：2024-05-28
Applicant: 北京明朝万达科技股份有限公司
IPC: H04L9/40
Abstract: 本申请提供了一种网络流量监测分析方法、装置、电子设备及存储介质。包括：基于抓包解析引擎获取待监测网络流量，并计算得到待监测网络流量的流量标识信息；将待监测网络流量缓存于流量标识信息对应的目标内存队列中；基于异常流量监测规则对待监测网络流量进行异常监测，得到流量监测结果；响应于流量监测结果指示待监测网络流量为异常网络流量，获取待监测网络流量和上下文流量信息，获取待监测网络流量的流量路径信息；将待监测网络流量、流量标识信息、上下文流量信息和流量路径信息发送至Kafka集群，以在用户发起异常网络流量的获取请求时，由用户端从Kafka集群内获取待监测网络流量、流量标识信息、上下文流量信息和流量路径信息。
-
Patent Agency Ranking
公开(公告)号：CN116756223A
公开(公告)日：2023-09-15
申请号：CN202310693970.3
申请日：2023-06-12
Applicant: 北京明朝万达科技股份有限公司
Abstract: 本发明提供一种基于spark的数据处理方法、装置、系统、设备及介质，所述方法包括：获取第一数据库和第二数据库中的数据，所述数据包括：多种不同类型的数据；按照用户配置的数据处理策略对所述多种不同类型的数据进行分布式加工整合处理，得到格式化的处理结果；将所述处理结果存储到对应的第三数据库中。也就是说，本发明实施例中，将从多个数据库获取到的非格式化数据时，利用spark分布式计算架构，对分散、零乱、标准不统一的数据，进行统一的数据加工整合处理，简化数据加工配置流程，加快大量数据的加工效率，节省数据加工成本。
-
公开(公告)号：CN112202862A
公开(公告)日：2021-01-08
申请号：CN202011010531.0
申请日：2020-09-23
Applicant: 北京明朝万达科技股份有限公司
IPC: H04L29/08
Abstract: 本发明提供一种基于kafka的集群数据以及文件的同步方法及装置，所述方法包括：集群中某个节点接收并解析请求，集群中每个节点对应一个消费组；判断解析结果，根据解析结果，将热点数据发送到Kafka的热点数据存储topic或采用RandomAccessFile读取对应路径的文件流信息，封装文件json信息，将封装后的文件json信息发送并保存到Kafka的文件数据存储topic；集群中其余节点利用对应的消费组分别从Kafka的热点数据存储topic、文件数据存储topic消费热点数据、文件数据。根据本发明的方案，只需要在集群项目中添加Kafka服务插件，减少项目的复杂度。实现将Kafka中的数据全部读取到集群的所有节点中，将热点数据刷新到服务内存中。实现集群服务器之间的热点数据共享以及文件的共享。
-
公开(公告)号：CN111597238A
公开(公告)日：2020-08-28
申请号：CN202010521512.8
申请日：2020-06-10
Applicant: 北京明朝万达科技股份有限公司
IPC: G06F16/248 , G06F16/2455 , G06F16/2453 , G06F16/22 , G06F21/64
Abstract: 本发明提供一种基于数据库的动态展示表格数据的方法及装置，所述方法包括：获取数据库中所有数据表的信息，将整理得到的字段信息及字段含义信息、初始化配置的信息存储到动态数据展示数据库表中；用户根据所述动态数据展示数据库表中的信息，定义列表模板；用户选择需要使用的列表模板，通过浏览器发送查询请求，所述查询请求将配置好的列表模板中的列信息作为请求中的参数，并将请求发送到后端业务服务器；后端业务服务器动态生成查询语句；后端业务服务器将列信息、数据返回给浏览器；浏览器展示对应的动态数据。根据本发明的方案，不仅保护了数据还减少了对数据库资源的浪费，防止敏感数据泄露。
-
公开(公告)号：CN110535973A
公开(公告)日：2019-12-03
申请号：CN201910883633.4
申请日：2019-09-18
Applicant: 北京明朝万达科技股份有限公司
Abstract: 本发明提供了一种sql注入威胁的检测方法及装置。所述方法包括：获取请求端向应用服务器发送的超文本传输协议HTTP请求；计算所述HTTP请求的第一sha1值；将所述第一sha1值在预设数据库中进行匹配，确定与所述第一sha1值相对应的匹配结果；若所述匹配结果为正确，则向所述请求端返回请求成功的结果，可以对接收到的HTTP请求中是否存在sql注入威胁进行快速检测，响应速度快。
-
公开(公告)号：CN110362561A
公开(公告)日：2019-10-22
申请号：CN201910636576.X
申请日：2019-07-15
Applicant: 北京明朝万达科技股份有限公司
IPC: G06F16/215 , G06F16/18
Abstract: 在本发明实施例公开了一种日志处理方法和装置，所述方法包括：在配置界面中，接收用户的配置的采集主体信息和清洗规则；根据所述目标采集主体信息，确定对应的目标采集主体，并从所述目标采集主体中采集源日志数据；根据所述清洗规则清洗所述源日志数据，获得第一日志数据；将所述第一日志数据存储至数据处理平台；在本发明实施例中，通过用户在页面的配置，能够选择采集多种采集主体的数据，不需要在采集不同采集主体时，编写不同脚本，提高了日志数据的采集效率，并且通过根据用户需要配置清洗规则，解决了现有技术日志数据处理方式和逻辑单一，清洗规则不够完善的问题。
-
-
-
-
-
-
-
Search Results
18
records
(took 0.031 seconds)
