-
公开(公告)号:CN106776783B
公开(公告)日:2019-10-01
申请号:CN201611043089.5
申请日:2016-11-24
Applicant: 福建亿榕信息技术有限公司 , 国家电网公司 , 国网浙江省电力公司 , 国网信息通信产业集团有限公司 , 国网信通亿力科技有限责任公司
IPC: G06F16/31 , G06F16/383
Abstract: 本文提供一种非结构化数据存储管理方法和系统,解决现有技术中非结构化存储管理系统无法支撑大量的小文件及其元数据的存储和快速访问的问题。其特别涉及非结构化数据的存储管理;其方法包括步骤:非结构化数据具有与其对应的第二元数据;第二元数据存储于内存中,以哈希表的结构存储,第二元数据包括非结构化数据对应的部分描述数据和第一键值;第一键值对应第二元数据映射在哈希表中的关键字;接收非结构化数据管理指令;若非结构化数据管理指令的参数为第一键值,则在内存中执行该非结构化数据管理指令。本文提供的方案优化了非结构化数据的元数据的访问速度。
-
公开(公告)号:CN106776783A
公开(公告)日:2017-05-31
申请号:CN201611043089.5
申请日:2016-11-24
Applicant: 福建亿榕信息技术有限公司 , 国家电网公司 , 国网浙江省电力公司 , 国网信息通信产业集团有限公司 , 国网信通亿力科技有限责任公司
IPC: G06F17/30
Abstract: 本文提供一种非结构化数据存储管理方法、服务器和系统,解决现有技术中非结构化存储管理系统无法支撑大量的小文件及其元数据的存储和快速访问的问题。其特别涉及非结构化数据的存储管理;其方法包括步骤:非结构化数据具有与其对应的第二元数据;第二元数据存储于内存中,以哈希表的结构存储,第二元数据包括非结构化数据对应的部分描述数据和第一键值;第一键值对应第二元数据映射在哈希表中的关键字;接收非结构化数据管理指令;若非结构化数据管理指令的参数为第一键值,则在内存中执行该非结构化数据管理指令。本文提供的方案优化了非结构化数据的元数据的访问速度。
-
公开(公告)号:CN102968501B
公开(公告)日:2016-02-17
申请号:CN201210525753.5
申请日:2012-12-07
Applicant: 福建亿榕信息技术有限公司 , 国家电网公司
IPC: G06F17/30
Abstract: 本发明提供一种通用的全文搜索方法,包括数据准备阶段:以业务系统作为分类条件建立多个分类信息数据表,各分类信息数据表之间两两设置关联描述字段;索引创建阶段:业务系统提交电子文件到电子文件管理平台时,将触发该电子文件管理平台的索引创建装置,开始抽取电子文件内容,并分别建立该电子文件的元数据索引库和内容索引库,并建立元数据索引库和内容索引库的关联关系,通过元数据索引库进行访问授权控制;数据搜索阶段:通过所述分类信息数据表及其关联描述字段对分类检索进行授权控制和用户认证。从而实现了在同一个系统中可以灵活设置搜索访问权限,满足了多种方式的授权访问控制要求,可以实现用户对不需要授权的文件的访问。
-
公开(公告)号:CN102968501A
公开(公告)日:2013-03-13
申请号:CN201210525753.5
申请日:2012-12-07
Applicant: 福建亿榕信息技术有限公司 , 国家电网公司
IPC: G06F17/30
Abstract: 本发明提供一种通用的全文搜索方法,包括数据准备阶段:以业务系统作为分类条件建立多个分类信息数据表,各分类信息数据表之间两两设置关联描述字段;索引创建阶段:业务系统提交电子文件到电子文件管理平台时,将触发该电子文件管理平台的索引创建装置,开始抽取电子文件内容,并分别建立该电子文件的元数据索引库和内容索引库,并建立元数据索引库和内容索引库的关联关系,通过元数据索引库进行访问授权控制;数据搜索阶段:通过所述分类信息数据表及其关联描述字段对分类检索进行授权控制和用户认证。从而实现了在同一个系统中可以灵活设置搜索访问权限,满足了多种方式的授权访问控制要求,可以实现用户对不需要授权的文件的访问。
-
公开(公告)号:CN105227672B
公开(公告)日:2018-04-17
申请号:CN201510671597.7
申请日:2015-10-13
Applicant: 国家电网公司 , 福建亿榕信息技术有限公司 , 国网浙江省电力公司 , 国网信息通信产业集团有限公司 , 国网信通亿力科技有限责任公司
IPC: H04L29/08
Abstract: 发明人提供了一种在满足SAN存储共享访问需求的同时具有能够提供支持多种操作系统、运行性能好、可靠性高、投资有限且方便维护等优点的数据存储访问的方法和系统,运行时包括数据存储阶段和数据访问阶段;所述数据存储阶段包括如下步骤:客户端向协调服务器发起待上传文件请求;协调服务器通过心跳时间校验流程确定一当前可有效执行写入操作的存储服务器;客户端获取所述经协调服务器确定可有效执行写入操作的存储服务器的IP并向该存储服务器上传文件。还包括一数据访问阶段方法。本发明技术方案所述的系统及其实现的方法兼具高可用性、高性能、跨平台和易实施的特性,规避了现有主流方案的缺点。
-
公开(公告)号:CN103020213B
公开(公告)日:2015-07-22
申请号:CN201210525908.5
申请日:2012-12-07
Applicant: 福建亿榕信息技术有限公司 , 国家电网公司
IPC: G06F17/30
Abstract: 本发明提供一种有明显类别划分的非结构化电子文档的检索方法和系统,其方法包括文档分类和类型关键词识别阶段:文档分类是将特定集合的文档,按照各文档内容之间存在的关系进行分类;类型关键词识别是将所有类型的关键词识别出来;实时搜索阶段:根据用户输入的搜索词,查询符合搜索结果的文档,并按照文档相关性从高到低返回搜索结果,该阶段提供了一实时搜索相关性算法公式,公式中引入了搜索词与文档类别的关系,优化了TF-IDF算法,很大程度上解决了上述提到的两个TF-IDF用于大型企业电子文档搜索时存在的两个问题,使之适用于大型企业电子文档全文搜索。
-
公开(公告)号:CN103020213A
公开(公告)日:2013-04-03
申请号:CN201210525908.5
申请日:2012-12-07
Applicant: 福建亿榕信息技术有限公司 , 国家电网公司
IPC: G06F17/30
Abstract: 本发明提供一种有明显类别划分的非结构化电子文档的检索方法和系统,其方法包括文档分类和类型关键词识别阶段:文档分类是将特定集合的文档,按照各文档内容之间存在的关系进行分类;类型关键词识别是将所有类型的关键词识别出来;实时搜索阶段:根据用户输入的搜索词,查询符合搜索结果的文档,并按照文档相关性从高到低返回搜索结果,该阶段提供了一实时搜索相关性算法公式,公式中引入了搜索词与文档类别的关系,优化了TF-IDF算法,很大程度上解决了上述提到的两个TF-IDF用于大型企业电子文档搜索时存在的两个问题,使之适用于大型企业电子文档全文搜索。
-
公开(公告)号:CN107037978B
公开(公告)日:2019-11-05
申请号:CN201610930983.8
申请日:2016-10-31
Applicant: 福建亿榕信息技术有限公司 , 国家电网公司 , 国网浙江省电力公司 , 国网信息通信产业集团有限公司 , 国网信通亿力科技有限责任公司
IPC: G06F3/06
Abstract: 本申请涉及数据迁移,特别涉及大型数据和特大型数据迁移和校正方法。本申请提供一种数据迁移校正的方法和系统,其中方法应用于具有控制器的系统中,控制器连接源数据服务器、目标数据服务器,包括步骤:源数据服务器存储有迁出文件,目标数据服务器具有未使用的存储空间,用于存放迁出文件,按源数据服务器的处理器核的个数的整数倍,将迁出文件划分为多个数据块,源数据服务器计算,获得每个数据块分别对应的数字摘要A;将数据摘要A保存于控制器中;并将迁出文件发送至目标数据服务器;在目标数据服务器中,在迁出文件转移的过程中平行计算经过数据迁移后的迁出文件中的数据块的数据摘要B;比较数据摘要A和数据摘要B是否相同;本申请用于解决大数据迁移时完整性校验的问题,其可靠性高、速度快。
-
公开(公告)号:CN107977345A
公开(公告)日:2018-05-01
申请号:CN201711121932.1
申请日:2017-11-14
Applicant: 福建亿榕信息技术有限公司 , 国家电网公司 , 国网信息通信产业集团有限公司 , 国网信通亿力科技有限责任公司
Abstract: 本发明提供一种通用文本信息抽取方法,编写限定个数的正则表达式对原始语料进行抽取;从抽取的语料中切割出限定比例的语料作为训练语料;将训练语料通过自动模式归纳方法构建抽取模型;通过该抽取模型进行抽取;本发明还提供一种通用文本信息抽取系统,适用于不同要求级别的业务场景中,也利于培养相应要求的工程师,形成文本关键信息抽取的“流水线”作业。
-
公开(公告)号:CN107037978A
公开(公告)日:2017-08-11
申请号:CN201610930983.8
申请日:2016-10-31
Applicant: 福建亿榕信息技术有限公司 , 国家电网公司 , 国网浙江省电力公司 , 国网信息通信产业集团有限公司 , 国网信通亿力科技有限责任公司
IPC: G06F3/06
Abstract: 本申请涉及数据迁移,特别涉及大型数据和特大型数据迁移和校正方法。本申请提供一种数据迁移校正的方法和系统,其中方法应用于具有控制器的系统中,控制器连接源数据服务器、目标数据服务器,包括步骤:源数据服务器存储有迁出文件,目标数据服务器具有未使用的存储空间,用于存放迁出文件,按源数据服务器的处理器核的个数的整数倍,将迁出文件划分为多个数据块,源数据服务器计算,获得每个数据块分别对应的数字摘要A;将数据摘要A保存于控制器中;并将迁出文件发送至目标数据服务器;在目标数据服务器中,在迁出文件转移的过程中平行计算经过数据迁移后的迁出文件中的数据块的数据摘要B;比较数据摘要A和数据摘要B是否相同;本申请用于解决大数据迁移时完整性校验的问题,其可靠性高、速度快。
-
-
-
-
-
-
-
-
-