-
公开(公告)号：CN105631003B
公开(公告)日：2019-02-22
申请号：CN201511001092.6
申请日：2015-12-28
Applicant: 北京赛思信安技术股份有限公司
IPC: G06F16/22 , G06F16/245
Abstract: 本发明提供了一种支持海量数据分组统计的智能索引构建、查询及维护方法，属于大数据处理技术领域。本方法建立了智能索引的数据组织结构，以使智能索引支持海量数据分组统计；智能索引的数据组织结构包括索引元数据和索引数据，索引元数据是创建索引的依据，包括分组列簇和统计列簇，索引数据是对原始数据构建的索引。本方法在写入数据时在内存中实时创建智能索引，利用智能索引进行分组统计的操作，也可快捷对智能索引进行删除。本发明实现了对海量数据的实时自动创建索引，在对海量数据进行分组统计时极大降低了磁盘I/O和计算时间，从而大幅提高了分组统计效率，并实现了对索引数据全生命周期的自动管理。
-
公开(公告)号：CN107943952A
公开(公告)日：2018-04-20
申请号：CN201711194929.2
申请日：2017-11-24
Applicant: 北京赛思信安技术股份有限公司 , 国家计算机网络与信息安全管理中心
IPC: G06F17/30
Abstract: 本发明公开了一种基于Spark框架进行全文检索的实现方法，属于大数据处理领域。该方法首先接收待执行SQL语句，生成语法树并转换成相应的逻辑计划；然后，从Hive中获取检索所有表的元数据，寻找支持全文检索的字段，并通过字段哈希索引对数据块进行初步裁剪；继而，根据查询条件从文件元数据中获取数据块所具体存放的磁盘位置；最后，将逻辑执行计划转换为可分布式执行的任务集合，通过各个数据块位置来确定任务具体执行的目标节点和任务所具体执行的目标进程；对任务进行分发执行，并汇总执行结果，迭代获取最终结果。该方法具有较高的效率，可以快速的完成海量数据的全文检索，在大数据处理领域具有很强的实用性和应用范围，具有很广泛的应用前景。
-
公开(公告)号：CN107832694A
公开(公告)日：2018-03-23
申请号：CN201711047162.0
申请日：2017-10-31
Applicant: 北京赛思信安技术股份有限公司 , 国家计算机网络与信息安全管理中心
CPC classification number: G06K9/00744 , G06F16/783
Abstract: 本发明公开了一种视频关键帧提取算法，属于信息安全技术领域。该算法首先计算当前输入视频流中某帧的水平方向的黑边宽度和垂直方向的黑边高度，以及该帧有效图像区域的宽度和高度；然后计算该帧的有效图像区域的特征信息，并与上一帧比较，计算差异度；差异度大于阈值时，将该差异帧中的数据与缓存区中的每帧数据分别比较，计算该帧的相似度；该差异帧的相似度大于阈值时，将该差异帧与缓存区中的该某帧视为相似，将非差异帧计数加1，达到非差异帧累计数最大值，输出该帧为差异帧并写入缓存区，统计该帧的Y值的方差值和UV值的方差值，并输出关键帧和空白帧。本发明算法通过C语言实现，可应用于多视频多线程的调用，适应性强，高效快速。
-
公开(公告)号：CN107220892A
公开(公告)日：2017-09-29
申请号：CN201710392181.0
申请日：2017-05-27
Applicant: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术股份有限公司
IPC: G06Q40/02
Abstract: 本发明公开了一种应用于海量P2P网贷金融数据智能预处理工具及方法，可以对海量P2P网贷金融数据在存储到标准金融业务数据库之前，进行准确、高效地预处理，确保数据的准确性及有效性，从而建立P2P网络借贷平台有效监测机制，有效加强对P2P网络借贷平台的监管。预处理包括建立有效性及完整性校验规则，实现入库前的数据校验；以及数据分类、数据去重、数据修正、数据转换、状态计算，实现入库前的数据处理；最终将数据加载入标准金融业务数据库。
-
公开(公告)号：CN107193986A
公开(公告)日：2017-09-22
申请号：CN201710391391.8
申请日：2017-05-27
Applicant: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术股份有限公司
Abstract: 本发明公开了一种互联网金融数据公众查验方法，属于数据处理技术领域。所述方法包括个人投资数据查询、漏报补充、错报纠正和企业运营指数统计。采用本发明提供的方法，可证实公众用户在互联网金融企业投资过，且被国家权威部门正常监测到；为国家提供了对互联网金融企业投资理财风险监测的技术支持平台；为互联网金融投资用户提供了一个可以参考、可以跟踪投资的国家权威入口，帮助互联网用户安全理财，理性理财，降低投资风险。本发明具有很强的实用性和推广性，帮助互联网金融投资用户安全理财，具有很广泛的应用前景。
-
Patent Agency Ranking
公开(公告)号：CN106649462A
公开(公告)日：2017-05-10
申请号：CN201610849788.2
申请日：2016-09-26
Applicant: 北京赛思信安技术股份有限公司 , 国家计算机网络与信息安全管理中心
IPC: G06F17/30
Abstract: 本发明提供了一种针对海量数据全文检索场景的实现方法，属于海量数据全文检索领域。本发明将Lucene引入检索引擎，对集群中已经存在的数据文件建立Lucene索引文件。在每个存储Lucene索引文件的节点上，设置有一个守护进程对该节点的Lucene索引文件进行维护。本发明优化协调器对fragment的调度机制，对每个执行节点进行计数判断，调整每个fragment的执行位置，以均衡节点资源。本发明还优化全文读取引擎机制，优先采用Lucene进行检索，当出现问题时调用RCFile检索，以保证检索的持续性和正确性。本发明提高了检索性能，可更加合理地利用集群的资源。
-
公开(公告)号：CN106446168A
公开(公告)日：2017-02-22
申请号：CN201610849787.8
申请日：2016-09-26
Applicant: 北京赛思信安技术股份有限公司 , 国家计算机网络与信息安全管理中心
IPC: G06F17/30
Abstract: 本发明公开了一种面向分布式数据仓库的高效加载客户端实现方法，属于信息处理领域；具体为：首先，初始化系统启动参数；加载器管理模块为每个线程各申请一个加载器；每个线程各创建一个数据解析模块，对客户端数据进行解析并传输给加载器；每个加载器分别调用数据校验模块进行检验；然后，将检验后的字段数据缓存到数据缓存模块，进行管理并传输给数据传输模块；通过分布式节点监听模块获取每个分布式数据仓库的监听状态，并发送给数据传输模块；最后，数据传输模块将收到的缓存数据发送给健康的分布式数据仓库。本发明提升了整个分布式数据仓库的使用效率和数据加载效率，符合目前的应用需求，具有广阔的应用前景。
-
公开(公告)号：CN106446013A
公开(公告)日：2017-02-22
申请号：CN201610730273.0
申请日：2016-08-25
Applicant: 北京赛思信安技术股份有限公司 , 国家计算机网络与信息安全管理中心
IPC: G06F17/30
CPC classification number: G06F16/334
Abstract: 本发明一种应用于海量数据全文检索系统的测试工具及测试方法，属于海量数据全文检索系统测试方法领域，所述测试工具包括七个模块：顺序写入/读取模块、随机写入/读取模块、循环写入/读取模块、语种识别模块、关键字检索对比模块、删除模块和并发模块；每个模块单独连接海量数据全文检索系统。所述测试方法为：首先，将某个事件的海量数据，顺序写入全文检索系统，并读取文件数据；然后，制定用于进行检索测试的关键参数和测试命令；通过调整不同的参数，对海量数据进行不同的检索测试；最后，将每一条性能测试的结果输出到自定义文件中。优点在于：利用一个工具即可完成多种性能测试，使用简单，具有很强的实用性和广泛的应用前景。
-
公开(公告)号：CN105897405A
公开(公告)日：2016-08-24
申请号：CN201610384213.8
申请日：2016-06-02
Applicant: 北京赛思信安技术股份有限公司 , 国家计算机网络与信息安全管理中心
CPC classification number: H04L9/0816 , H04L9/0631
Abstract: 本发明公开了一种128位对称密钥生成及保护装置，其特征在于，设存储于装置中的种子密钥为A段密钥，由主机下发的种子密钥为B段密钥，合成的结果为密钥，装置包括以下模块：至少一个A段密钥管理模块；至少一个B段密钥管理模块；至少一个MD5算法模块；至少一个SHA1算法模块；至少一个密钥合成管理模块；至少一个密钥存储模块。本发明避免了A段密钥的暴露，从而使本装置具有抵抗软件恶意攻击的能力，本发明中一旦设备脱离主机环境，那么B段密钥与生成后的密钥将自动销毁，从而使本装置具有抵抗硬件恶意攻击的能力，进一步提升了密钥的安全性。
-
公开(公告)号：CN115225730B
公开(公告)日：2024-05-31
申请号：CN202210846646.6
申请日：2022-07-05
Applicant: 北京赛思信安技术股份有限公司
IPC: H04L69/166 , H04L67/133
Abstract: 本发明公开了一种支持多任务的高并发离线数据包分析方法，属于数据分析领域，具体为首先、将输入的pcap大文件分割成小文件，利用五元组信息将数据包存入对应的小文件，并保存小文件路径到ES数据库中；然后，任务节点对用户输入要匹配的五元组以及内容关键词生成任务id，并下发至主控节点写入redis数据库中；主控节点查询ES数据库，将与任务五元组匹配的结果传输给内容检索节点；内容检索节点通过小文件路径，采用线程池快速读取小文件内容，还原成IP数据包与用户输入的关键词进行匹配；最后，将匹配成功的数据包五元组以及小文件路径，写入redis数据库对应任务id的键值中，读取对应的pcap文件内容，展现给用户；本发明支持多任务的快速分析。
-
-
-
-
-
-
-
-
-
Search Results
95
records
(took 0.043 seconds)
