数据迁移校正方法及系统

    公开(公告)号:CN107037978B

    公开(公告)日:2019-11-05

    申请号:CN201610930983.8

    申请日:2016-10-31

    Abstract: 本申请涉及数据迁移,特别涉及大型数据和特大型数据迁移和校正方法。本申请提供一种数据迁移校正的方法和系统,其中方法应用于具有控制器的系统中,控制器连接源数据服务器、目标数据服务器,包括步骤:源数据服务器存储有迁出文件,目标数据服务器具有未使用的存储空间,用于存放迁出文件,按源数据服务器的处理器核的个数的整数倍,将迁出文件划分为多个数据块,源数据服务器计算,获得每个数据块分别对应的数字摘要A;将数据摘要A保存于控制器中;并将迁出文件发送至目标数据服务器;在目标数据服务器中,在迁出文件转移的过程中平行计算经过数据迁移后的迁出文件中的数据块的数据摘要B;比较数据摘要A和数据摘要B是否相同;本申请用于解决大数据迁移时完整性校验的问题,其可靠性高、速度快。

    数据迁移校正方法及系统

    公开(公告)号:CN107037978A

    公开(公告)日:2017-08-11

    申请号:CN201610930983.8

    申请日:2016-10-31

    Abstract: 本申请涉及数据迁移,特别涉及大型数据和特大型数据迁移和校正方法。本申请提供一种数据迁移校正的方法和系统,其中方法应用于具有控制器的系统中,控制器连接源数据服务器、目标数据服务器,包括步骤:源数据服务器存储有迁出文件,目标数据服务器具有未使用的存储空间,用于存放迁出文件,按源数据服务器的处理器核的个数的整数倍,将迁出文件划分为多个数据块,源数据服务器计算,获得每个数据块分别对应的数字摘要A;将数据摘要A保存于控制器中;并将迁出文件发送至目标数据服务器;在目标数据服务器中,在迁出文件转移的过程中平行计算经过数据迁移后的迁出文件中的数据块的数据摘要B;比较数据摘要A和数据摘要B是否相同;本申请用于解决大数据迁移时完整性校验的问题,其可靠性高、速度快。

    一种基于maven插件和freemarker模版的代码生成方法及装置

    公开(公告)号:CN103500087B

    公开(公告)日:2016-08-17

    申请号:CN201310424542.7

    申请日:2013-09-17

    CPC classification number: G06F8/30

    Abstract: 一种基于maven插件和freemarker模版的代码生成方法及装置,包括:准备数据和模版:根据数据库设计文档或数据库表编写或生成.hbm.xml文件,依据项目特点和freemarker模版语法编写模版;调用maven插件进行逻辑运算生成代码的步骤:调用封装了代码生成的运算逻辑的maven插件,根据第一步骤所准备的.hbm.xml文件和freemarker模版文件进行逻辑运算和代码生成;代码生成:将宏套用在代码模板中生成MVC三层架构的目标代码。本发明解决了开发过程中重复性代码的自动生成问题,并且能根据模版进行实际情况下的定制,对于提高生产效率有良好的效果。将代码自动生成和常用构建工具maven绑定在一起,提高了装置的通用性和易用性。

    一种知识地图构建方法及存储介质

    公开(公告)号:CN109597885A

    公开(公告)日:2019-04-09

    申请号:CN201811511737.4

    申请日:2018-12-11

    Abstract: 一种知识地图构建方法及存储介质,其中方法包括如下步骤,识别知识点,通过人工进行部分标注的语料输入基于机器学习的CRF算法模型进行训练,所述CRF算法模型被预置为词性特征倾向、和或信息熵特征倾向、和或全文词频倾向、和或逆文档概率倾向;用训练好的所述模型对特定文档集进行知识点识别,得到知识点集。本发明提出的面向知识搜索的动态知识地图构建方法,不面向特定的业务领域,在不同行业中具备普遍适用性,仅需通过普通标注少量知识点投入的资源少,无监督运行的效果也很好。同时针对不断扩展的企业文档,也能够起到不断进行知识地图结果优化的效果。

    基于Zookeeper的分布式系统的有序序列号生成方法

    公开(公告)号:CN104361065B

    公开(公告)日:2018-07-06

    申请号:CN201410613887.1

    申请日:2014-11-04

    Abstract: 本发明提供一种基于Zookeeper的分布式系统的有序序列号生成方法,所述方法为:1、在分布式系统的Zookeeper上创建有序序列根节点;2、在有序序列根节点下创建持久顺序节点;3、取得持久顺序节点的顺序号;4、删除所述顺序号的前一顺序号对应的顺序节点。本发明利用了Zookeeper的数据强一致性和持久顺序节点的节点顺序性,解决了分布式系统中多服务端高并发请求环境下有序序列号生成的问题。

    一种通用的网络爬虫模拟登录方法及系统

    公开(公告)号:CN105631030A

    公开(公告)日:2016-06-01

    申请号:CN201511026050.8

    申请日:2015-12-30

    CPC classification number: G06F16/951 H04L63/083 H04L67/146

    Abstract: 本发明提供一种通用的网络爬虫模拟登录方法,所述方法为:配置要爬取的各个站点的认证信息,所述认证信息包括:用户名、密码以及用户权限;网络爬虫调用无UI浏览器访问各个站点;无UI浏览器模拟人工登录过程,认证成功后保存各个站点的cookie信息;网络爬虫携带cookie信息访问站点,爬取站点网页内容。本发明解决了爬虫模拟登录过程需要人工参与或需要针对特定站点进行定制程序开发的问题,减少开发工作量并避免了需要人工参与的弊端。

Patent Agency Ranking