-
公开(公告)号:CN114970649B
公开(公告)日:2024-07-26
申请号:CN202110201619.9
申请日:2021-02-23
Applicant: 广东精点数据科技股份有限公司
IPC: G06F18/23213 , G06F18/22
Abstract: 本发明公开了一种基于聚类算法的网络信息处理方法,涉及信息处理技术领域。具体包括获取初始数据,设定所述初始数据的中心点,根据所述中心点将初始数据划分成至少两个初始簇;计算各初始簇中的数据与该初始簇的中心点之间的距离并形成距离矩阵,根据该距离矩阵获取数据相似性的权重;根据数据相似性的权重对参数进行调整和数据更新并生成新的簇。旨在自动对不完整的多数据形态信息将信息进行分类,以将缺少部分信息的同类数据融合在一起,以得到包含所有信息的数据,方便信息提取和应用。
-
公开(公告)号:CN107480435B
公开(公告)日:2020-12-08
申请号:CN201710641052.0
申请日:2017-07-31
Applicant: 广东精点数据科技股份有限公司
IPC: G06F16/2458 , G16H50/50 , G16H50/70
Abstract: 本专利属于医疗大数据处理领域,本发明的解决的技术问题在于提供一种应用于临床数据的自动搜索机器学习方法,其具有快速提取临床数据、为医疗行业研究者提供最优算法、方便医疗行业研究者调整参数且具有学习能力的功能,包括如下步骤:S1:临床参数提取,将临床参数记录在EAV文件或者EXCEL文件中;S2:参数筛选,用MapReduce框架支持在SPARK上执行枢轴,在SPARK上执行枢轴用来提取有效的临床参数;S3:在机器内预制若干的推荐算法模型,然后建立SQL语句执行可视化查询,根据EAV文件或者EXCEL文件内容向用户展示可调用的相关算法,机器通过S4自主确定推荐算法模型及推荐算法参数。还公开了一种应用于临床数据的自动搜索机器学习系统。
-
公开(公告)号:CN105956020B
公开(公告)日:2019-11-05
申请号:CN201610255782.2
申请日:2016-04-22
Applicant: 广东精点数据科技股份有限公司
IPC: G06F16/583 , G06F16/953 , G06T7/11
Abstract: 本发明提供了一种基于感知哈希的相似图像搜索方法和装置,该装置包括输入单元、差分单元、寻找单元、截图单元、感知哈希算法单元、对比单元和输出单元。本发明的有益效果在于,将输入的初始图像和所述初始图像的截图图像都用感知哈希算法进行处理后,分别与搜索库中的图像进行比较,解决了在输入图像是某图像的截图图像的情况下,也能找到原图的出处,提高了感知哈希算法的准备率,为搜索相似图像提供了一种新的思路。
-
公开(公告)号:CN109636659A
公开(公告)日:2019-04-16
申请号:CN201811231303.9
申请日:2018-10-22
Applicant: 广东精点数据科技股份有限公司
CPC classification number: G06Q50/02
Abstract: 本发明涉及到大数据技术中多源异构数据预处理领域,具体涉及一种基于品质因数的农业物联网多源数据融合方法及系统,包括处理模块和各个传感器,传感器包括温度传感器和湿度传感器,若为夏天且下暴雨,改变温度传感器和湿度传感器的采集状态,反之,则不改变;基于限幅滤波平均算法,处理模块对各个传感器的数据进行限幅滤波和平均处理,处理后得到各个传感器的有效数据和品质因数,处理模块利用数学方法将有效数据和品质因数相乘,得到最终融合后的数值型数据。本发明适用于海量农业数据中同类数据的融合。
-
公开(公告)号:CN108270565A
公开(公告)日:2018-07-10
申请号:CN201611257612.4
申请日:2016-12-30
Applicant: 广东精点数据科技股份有限公司
Abstract: 本发明提供一种数据混合加密方法,该方法包括步骤S1:发送方发送明文P;步骤S2:运用DES算法对明文P进行加密;步骤S3:在数据传输过程中,运用RSA算法对密钥K进行加密;步骤S4:在RSA算法的基础上,对CK进行解密;步骤S5:用DES算法和密钥K对CP进行解密;步骤S6:接受方获取明文P。与现有技术相比:本发明提供了一种数据混合加密方法,大大提高了数据传输过程中的安全性;本发明的混合加密算法综合DES和RSA的加密速度,用于处理大数据传输时,加密速度远快于RSA加密速度本发明的混合加密算法很好地解决了DES和RSA的密钥生成和管理的问题。
-
公开(公告)号:CN108268470A
公开(公告)日:2018-07-10
申请号:CN201611254491.8
申请日:2016-12-30
Applicant: 广东精点数据科技股份有限公司
IPC: G06F17/30
Abstract: 本发明提供一种基于演化聚类的评论文本分类提取方法,该方法包括步骤S1:采集评论样本,对评论内容进行分词以及去除停用词;步骤S2:对文本特征进行处理,除去关联性低或不相关的特征项;步骤S3:将文本特征项根据文本情感向量空间模型,赋予不同权重;步骤S4:利用k-medoids演化聚类算法对文本特征进行聚类;步骤S5:对各个时间段的聚类结果进行统计,从而得出结论。与现有技术相比:本发明提供了一种基于演化聚类的评论文本分类提取方法,解决了文本特征中可能面临的数据“稀疏性”的问题,同时也降低了计算的复杂度;本发明的方法对异常数据敏感度高、稳定性强,并具有较高的聚类精度。
-
公开(公告)号:CN108268460A
公开(公告)日:2018-07-10
申请号:CN201611254038.7
申请日:2016-12-30
Applicant: 广东精点数据科技股份有限公司
IPC: G06F17/30
Abstract: 本发明提供一种基于大数据的自动选择最优模型的方法,包括:步骤S1对挖掘目标进行分类;步骤S2利用信息增益对整个数据集进行快速特征选择;步骤S3建立训练集和验证集;步骤S4选择有效的数据挖掘算法及其参数组合;步骤S5利用贝叶斯优化方法选择各算法有效的参数组合;步骤S6选出最优的数据挖掘算法K;步骤S7利用交叉验证选择并确定数据挖掘算法K的参数取值组合得出最后的模型;步骤S8若模型得出的结果比较差,则重复步骤S2-S7,重新选择最优模型直到模型结果满意为止;若比较满意,则输出该模型。本发明能节省之后自动建模所耗费的时间,提高了建模效率;而且能快速地从大量的算法中搜索出最优算法,利用交叉验证来选择最优算法里面的参数组合。
-
公开(公告)号:CN108182186A
公开(公告)日:2018-06-19
申请号:CN201611122793.X
申请日:2016-12-08
Applicant: 广东精点数据科技股份有限公司
Abstract: 本发明提供一种基于随机森林算法的网页排序方法,包括:获取搜索网页对应的关键词和关键备选词;计算所述搜索网页对应的关键词或者关键备选词词频和权重;计算搜索网页质量相关指标PR值;计算搜索网页的枢纽值和权威值;计算最近浏览网页与所述搜索网页的相关性与最近浏览网页的关键词以及关键备选词的TF-IDF值乘积;计算输出指标:规定访问时间以上的搜索网页用户网页浏览次数与满足条件的网页停留时间某一函数的乘积是否大于设定的阀值;建立随机森林模型并记录相应结果;计算最终的所述搜索网页得分并排序。与现有技术相比,本发明的利用随机森林的方法对传统的HITS算法进行一定程度上的改良,提升用户的搜索体验,使得信息来得更好更准。
-
公开(公告)号:CN107861965A
公开(公告)日:2018-03-30
申请号:CN201710678130.4
申请日:2017-08-09
Applicant: 广东精点数据科技股份有限公司
IPC: G06F17/30
CPC classification number: G06F17/30339 , G06F17/30536
Abstract: 本发明公开了一种无需要求企业的所有生产系统的数据都按照统一的规范进行定义,可实现数据的快速识别的数据智能识别方法,包括以下内容:a、建立数据识别时作为参考的数据规则,并将该规则存储到数据库中;b、选定数据表或者字段,调取数据库中的数据规则,以调取的数据规则为识别标准,对选定的数据表或者字段按规则一一进行识别匹配,分别得出识别结果;c、在所有的数据表或者字段与所有的数据规则进行匹配之后,计算这一数据表或者字段所有数据符合数据规则的百分比,确定数据的实际业务含义。本发明还公开了一种基于上述方法的系统。
-
公开(公告)号:CN104866576B
公开(公告)日:2018-03-02
申请号:CN201510272096.1
申请日:2015-05-25
Applicant: 广东精点数据科技股份有限公司
IPC: G06F17/30
Abstract: 本发明提供一种Data Vault模型数据仓库自动构建的方法及装置,该构建装置包括表查询装置和建表装置,所述表查询装置包括第一初始化单元、搜索单元、判断单元、写入单元、匹配单元和记录单元;所述建表装置包括第一处理单元、第二初始化单元、第二处理单元和建表单元。该构建方法包括表查询步骤和建表步骤。本发明提供的一种Data Vault模型数据仓库自动构建的方法及装置,可以利用对字段名和表与表之间的关联关系探索所需的中心表之间的关系,建立中心表、链接表和附属表之间的逻辑关系,从数据库表中抽取表并构建企业数据仓库,从而节省了企业级数据仓库构建人员构建企业数据仓库时进行逻辑分析的时间。
-
-
-
-
-
-
-
-
-