一种增量式的自动机更新方法与系统

    公开(公告)号:CN107038026A

    公开(公告)日:2017-08-11

    申请号:CN201710112499.9

    申请日:2017-02-28

    CPC classification number: G06F8/658

    Abstract: 本发明涉及一种增量式的自动机更新方法与系统。该方法包括:1)配置处理机进行初始化操作,根据配置文件生成初始自动机,并将初始自动机发送到各扫描机;2)配置处理机根据新配置文件生成更新后的自动机,并对更新后的自动机和更新前的自动机进行数据差分,生成自动机增量;3)配置处理机将自动机增量发到各扫描机,各扫描机根据自动机增量和更新前的自动机生成更新后的自动机。本发明一方面可以尽量减少因为初始化自动机而漏掉的需要过滤的数据,同时还能应用一些初始化时间较长的新的效果比较好的串匹配算法;另一方面可以避免因为发送完整自动机而导致的网络拥塞问题。

    一种并行的数据差分方法
    32.
    发明公开

    公开(公告)号:CN107016053A

    公开(公告)日:2017-08-04

    申请号:CN201710121255.7

    申请日:2017-03-02

    Abstract: 本发明提供一种并行的数据差分方法,步骤包括:(1)文件预处理:将源文件和目标文件初始化,生成源文件的后缀数组,创建补丁文件并初始化;(2)目标文件切分:根据线程数目切分目标文件,为切分后的每一部分目标文件增加一个线程进行独立处理;(3)线程处理过程:在每一线程中,初始化切分后的目标文件,创建patch文件,通过上述后缀数组比较源文件与目标文件生成差分数据,将该差分数据写入该patch文件;(4)主进程合并处理:将上述各线程的已写入差分数据的patch文件一起写入上述补丁文件。本方法采用多线程并行技术,来提高生成补丁的速度。

    一种基于层次索引的图像检索方法及系统

    公开(公告)号:CN103617217B

    公开(公告)日:2017-04-26

    申请号:CN201310589470.1

    申请日:2013-11-20

    Abstract: 本发明涉及一种基于层次索引的图像检索方法,包括步骤:步骤1:对库图像提取二进制特征,并存入特征库;步骤2:对特征库中的每个二进制特征随机提取24位作为新特征组成新数据集;步骤3:对新数据集建立聚类索引,使搜索空间分为多层;步骤4:接收查询图像,提取查询图像的查询特征,对查询特征随机提取24位构成新查询特征,并将新查询特征与新数据集中的二进制特征进行匹配,完成初步过滤并得到候选集合;步骤5:将候选集合中的所有特征与原查询特征进行相似度计算,得到多个相似特征构成相似数据集,完成图像检索。本发明与基于sift特征的索引结构相比,该索引结构使得检索效率明显提升,空间资源消耗降低。

    一种基于局部敏感哈希的聚类索引方法及系统

    公开(公告)号:CN103631928B

    公开(公告)日:2017-02-01

    申请号:CN201310652980.9

    申请日:2013-12-05

    Abstract: 本发明涉及一种基于局部敏感哈希的聚类索引方法及系统,所述方法包括:步骤1,对数据集进行聚类分析,将数据集分成若干个类,并确定和保存每个类的聚类中心;步骤2,在每个类中采用局部敏感哈希方法建立哈希表;步骤3,计算各聚类中心与查询点之间的欧式距离,选择距离最小的多个类作为候选类;步骤4,计算查询点在每个候选类中的哈希值,根据步骤2建立的哈希表,选出候选类中与查询点哈希值相同的数据点作为候选点;步骤5,计算候选点与查询点之间的欧式距离,将欧式距离最小的候选点作为查询点的最近邻点。本发明可以在牺牲较小准确率的情况下换取查询效率的较大提高和查询性能的相对稳定。

    一种高效的静态哈希表实现方法及系统

    公开(公告)号:CN106326475A

    公开(公告)日:2017-01-11

    申请号:CN201610793354.5

    申请日:2016-08-31

    Abstract: 本发明涉及一种高效的静态哈希表实现方法及系统。该方法包括以下步骤:1)设定哈希桶大小hash_bit,生成多个数据对,将key[i]和value[i]对应于关键字和值;2)根据key[i]值,利用rank操作构建哈希表,并计算C表和D表;3)根据C表和D表计算rank(h),并根据rank(h)的值存储相应的key[i]和value[i];4)根据所要查询的值key判断哈希表中是否存在该元素,若存在则在对应存储位置查询并返回value值,否则访问失败;5)根据步骤4)所得的结果返回结果信息。本发明利用Rank-select算法实现新型静态哈希表的构建与访问,可用于内容过滤、信息安全等领域。

    一种面向数据流处理的元组跟踪方法及系统

    公开(公告)号:CN103346901B

    公开(公告)日:2016-01-20

    申请号:CN201310227114.5

    申请日:2013-06-07

    Abstract: 本发明涉及一种面向数据流处理的元组跟踪方法及系统,该系统包括元组生成器、元组跟踪器和若干个元组处理器,元组生成器生成根元组并处理产生新的元组,然后,将新的元组发送给不同的元组处理器,元组处理器对接收的元组进行处理产生新的元组,每个根元组经过处理后会产生一个元组树,在每个元组树生成过程中,元组生成器向元组跟踪器发送该根元组的相关信息,供元组跟踪器构建该根元组的跟踪记录,元组跟踪器为每个根元组选择一个元组跟踪单元;每个元组处理器处理元组的过程中向元组跟踪器发送元组的相关信息来对跟踪记录的标识位进行更新,本发明可以实现大大降低内存开销,实现元组跟踪单元的负载均衡,提高元组处理的可靠性。

    一种对稀疏矩阵进行压缩和查询的方法及系统

    公开(公告)号:CN104809161A

    公开(公告)日:2015-07-29

    申请号:CN201510152316.7

    申请日:2015-04-01

    Abstract: 本发明涉及一种对稀疏矩阵进行压缩和查询的方法及系统。该方法对k2-tree方法进行了改进:一是rank操作的改变,二是对于一般矩阵和非零一矩阵的处理。首先对待处理的稀疏矩阵进行预处理,得到单元值为0或1且为方阵的稀疏矩阵A;然后采用k2-tree算法得到数组T(tree)和L(leaves),根据T(tree)中的信息对Rank数组间隔固定位数进行存储,得出Rank(tree),并根据L(leaves)和对应的原稀疏矩阵得到V(leaves)和rank(leaves)值,输入查询单元的坐标后,可查询得出稀疏矩阵A中存储的数值。本发明可以有效地压缩稀疏矩阵,使查询速度更快,存储空间更节省。

    一种基于层次索引的图像检索方法及系统

    公开(公告)号:CN103617217A

    公开(公告)日:2014-03-05

    申请号:CN201310589470.1

    申请日:2013-11-20

    CPC classification number: G06F17/30256

    Abstract: 本发明涉及一种基于层次索引的图像检索方法,包括步骤:步骤1:对库图像提取二进制特征,并存入特征库;步骤2:对特征库中的每个二进制特征随机提取24位作为新特征组成新数据集;步骤3:对新数据集建立聚类索引,使搜索空间分为多层;步骤4:接收查询图像,提取查询图像的查询特征,对查询特征随机提取24位构成新查询特征,并将新查询特征与新数据集中的二进制特征进行匹配,完成初步过滤并得到候选集合;步骤5:将候选集合中的所有特征与原查询特征进行相似度计算,得到多个相似特征构成相似数据集,完成图像检索。本发明与基于sift特征的索引结构相比,该索引结构使得检索效率明显提升,空间资源消耗降低。

    一种面向数据流处理的元组跟踪方法及系统

    公开(公告)号:CN103346901A

    公开(公告)日:2013-10-09

    申请号:CN201310227114.5

    申请日:2013-06-07

    Abstract: 本发明涉及一种面向数据流处理的元组跟踪方法及系统,该系统包括元组生成器、元组跟踪器和若干个元组处理器,元组生成器生成根元组并处理产生新的元组,然后,将新的元组发送给不同的元组处理器,元组处理器对接收的元组进行处理产生新的元组,每个根元组经过处理后会产生一个元组树,在每个元组树生成过程中,元组生成器向元组跟踪器发送该根元组的相关信息,供元组跟踪器构建该根元组的跟踪记录,元组跟踪器为每个根元组选择一个元组跟踪单元;每个元组处理器处理元组的过程中向元组跟踪器发送元组的相关信息来对跟踪记录的标识位进行更新,本发明可以实现大大降低内存开销,实现元组跟踪单元的负载均衡,提高元组处理的可靠性。

Patent Agency Ranking