一种MES系统的标识数据库去重方法及系统

    公开(公告)号:CN112685399B

    公开(公告)日:2022-10-18

    申请号:CN202110023231.4

    申请日:2021-01-08

    Abstract: 本发明公开了一种MES系统的标识数据库去重方法及系统,所述去重方法包括:将待处理的每个标识数据库分别作为一个从节点,将空闲的运算节点作为主节点,并对所述从节点进行顺序标号;利用SNM算法将所有从节点中的数据分成N份;计算每个数据集的最小签名矩阵;根据每个数据集的最小签名矩阵,计算每个数据集中每两个数据元之间的相似度;根据每个数据集中每两个数据元之间的相似度,对每个数据集中的数据源进行去重处理。本发明采用数据集划分的方式减小数据传输过程中的耗时,通过构建最小签名矩阵,通过对最小签名矩阵进行交互,进行相似度计算,无需数据元的交互,保证了数据的隐私性,并进一步减小了数据传输过程中的耗时。

    一种面向MES的海量数据去冗余方法和系统

    公开(公告)号:CN112162977B

    公开(公告)日:2023-01-13

    申请号:CN202011124465.X

    申请日:2020-10-20

    Abstract: 本发明涉及一种面向MES的海量数据去冗余方法和系统。该面向MES的海量数据去冗余方法和系统,采用最小哈希算法对预处理后的数据进行压缩得到最小哈希签名,采用LSH(局部敏感哈希)算法能够避过相似度计算,将数据按照哈希值进行分桶,极大的减少了从海量数据找出相似重复数据过程中的时间复杂度,提高了数据处理的整体效率。并且,使用Jaccard相似度作为筛选条件,对Jaccard相似度大于阈值的数据定义为潜在相似数据,然后对潜在相似数据进行由分部到总体的相似度检测以去除相似重复数据,增加了去冗余能力。

    一种MES系统的标识数据库去重方法及系统

    公开(公告)号:CN112685399A

    公开(公告)日:2021-04-20

    申请号:CN202110023231.4

    申请日:2021-01-08

    Abstract: 本发明公开了一种MES系统的标识数据库去重方法及系统,所述去重方法包括:将待处理的每个标识数据库分别作为一个从节点,将空闲的运算节点作为主节点,并对所述从节点进行顺序标号;利用SNM算法将所有从节点中的数据分成N份;计算每个数据集的最小签名矩阵;根据每个数据集的最小签名矩阵,计算每个数据集中每两个数据元之间的相似度;根据每个数据集中每两个数据元之间的相似度,对每个数据集中的数据源进行去重处理。本发明采用数据集划分的方式减小数据传输过程中的耗时,通过构建最小签名矩阵,通过对最小签名矩阵进行交互,进行相似度计算,无需数据元的交互,保证了数据的隐私性,并进一步减小了数据传输过程中的耗时。

    一种基于改进战斗皇家优化算法的云工作流调度方法

    公开(公告)号:CN114924841A

    公开(公告)日:2022-08-19

    申请号:CN202210685971.9

    申请日:2022-06-16

    Abstract: 本发明提出了一种基于改进战斗皇家优化算法的云工作流调度方法,能够在满足用户预算约束的情况下优化工作流执行时间,解决云数据中心环境下的工作流应用调度问题。本发明引入了士兵聚集指数的概念,通过比较适应度值计算每个士兵的聚集指数,并与预先设定的阈值进行比较,判断士兵是否聚集在一起,以便及时采取措施避免搜索陷入局部最优解;对于聚集指数达到阈值的士兵,依据概率对其位置中某维度的元素值进行变异,通过变异引入随机性,既可以在聚集个体附近搜索更好的解,又可以在多次迭代的累积变异后,使某些个体逃离局部最优,增强搜索的多样性,有效提升了算法的寻优速度以及找到最优解的质量。

Patent Agency Ranking