一种利用云原生资源的数据湖构建方法

    公开(公告)号:CN115809149A

    公开(公告)日:2023-03-17

    申请号:CN202310083078.3

    申请日:2023-02-08

    Abstract: 本发明提出一种利用云原生资源的数据湖构建方法,包括,构建数据源及数据源表、数据湖数据目录;配置入湖任务,根据数据源表以及数据湖数据目录生成入湖任务参数,将入湖任务以及入湖任务参数提交至服务应用中心;通过服务应用中心将所述入湖任务以及入湖任务参数转发至任务调度中心入湖队列,在计算资源状态处于空闲时,将入湖任务以及入湖任务参数转发至资源调度中心;通过资源调度中心解析入湖任务参数,获取数据源及数据源表,对数据源及数据源表做映射获取数据源元数据信息和中间表元数据信息,生成抽象语法树,并基于抽象语法树生成任务计划,根据任务计划调度计算资源在对应数据湖数据目录执行数据写入任务,完成数据湖的构建。

    基于深度学习的眼科预问诊方法与装置

    公开(公告)号:CN110993093B

    公开(公告)日:2023-02-24

    申请号:CN201911121876.0

    申请日:2019-11-15

    Abstract: 本发明公开了一种基于深度学习的眼科预问诊方法与装置,其中,装置包括:基础数据模块,基础数据模块存储基础数据;算法引擎模块,用于采用基于深度学习的自然语言处理相应对话流程需求,以根据自然语言生成SQL语句;对话流程模块,用于根据SQL语句获取用户的问诊信息,并输出对应的眼科预问诊结果;平台能力模块,用于根据问诊信息和基础数据得到眼科预问诊结果,并将眼科预问诊结果发送至对话流程模块。该装置可以提高就诊前患者信息收集的效率和准确度,实现就诊前智能化收集患者信息,进而提升后期医生诊断效率。

    基于Hive数据仓库的数据列级血缘处理系统及方法

    公开(公告)号:CN111813796B

    公开(公告)日:2022-11-18

    申请号:CN202010541245.0

    申请日:2020-06-15

    Abstract: 本发明公开了一种基于Hive数据仓库的数据列级血缘处理系统及方法,其中,该系统包括:SQL预处理模块,用于对用户输入的SQL信息进行预处理;SQL解析模块,用于将预处理后的SQL信息解析为具体Hive执行计划;数据血缘解析模块,用于根据所述具体Hive执行计划,结合Hive执行上下文信息,解析出对应的数据血缘依赖关系;数据存储模块,用于将所述数据血缘依赖关系,以数据上下游依赖关系的形式存储进入数据库。该系统在保证数据血缘功能和Hive数据仓库之间的低耦合的前提下,实现了数据血缘解析结果的细粒度和高准确性。

    基于批流一体计算引擎的征信智能评估方法和系统

    公开(公告)号:CN115018616A

    公开(公告)日:2022-09-06

    申请号:CN202210444203.4

    申请日:2022-04-25

    Abstract: 本申请提出了一种基于批流一体计算引擎的征信智能评估方法,涉及征信智能评估技术领域,其中,该方法包括:通过Kafka获取多个维度的用户征信数据,并按照主题将用户征信数据划分为待训练征信数据和待预测征信数据;获取预先训练的征信评估模型,将待预测征信数据输入至征信评估模型进行实时评估,得到评估结果,其中,征信评估模型是通过待训练征信数据对原始训练数据进行数据增量后,利用增量后的训练数据进行动态更新的。本申请利用经典的神经网络模型算法动态预测征信智能评分,并且能够根据实时流式征信数据实现评估模型的在线学习,同时能够结合历史规律与实时变化,更新模型评估效果,消除模型的不稳定性,从而提升征信智能评估的准确率。

    基于企业征信大数据知识图谱的企业风险检测方法和装置

    公开(公告)号:CN114817557A

    公开(公告)日:2022-07-29

    申请号:CN202210302732.0

    申请日:2022-03-24

    Abstract: 本发明公开了基于企业征信大数据知识图谱的企业风险检测方法和装置,其中,该方法包括:通过分散数据子域数据构建企业征信大数据统一信息模型;基于企业征信大数据统一信息模型,利用自顶向下方式构建第一企业征信大数据领域本体;以及通过自底向上的构建方式对企业征信大数据领域中的数据进行实体抽取和关系抽取,选取优质新词扩充第一企业征信大数据领域本体规模,以构建第二企业征信大数据领域本体;基于构建好的本体,利用企业征信大数据构建企业征信大数据知识图谱,通过知识图谱进行特征获取,将获取的特征数据输入训练好的风控模型输出分类结果,并用于分类企业。本发明提升了企业征信领域知识图谱本体的精确性,提升了风控模型的性能。

    基于Web和Kafka的分布式数据集成系统及方法

    公开(公告)号:CN111061715B

    公开(公告)日:2022-07-01

    申请号:CN201911297173.3

    申请日:2019-12-16

    Abstract: 本发明公开了一种基于Web和Kafka的分布式数据集成系统及方法,其中,系统包括:控制台模块,用于为用户提供控制台,使得用户以Web页面操作的形式进行ETL任务的创建和监控;管理服务模块,用于为控制台模块提供管理服务API;模式管理模块,用于管理数据源端的schema和目的地端的schema及其映射;数据抽取模块,用于将管理数据源端的数据抽取数据到消息队列;数据处理模块,用于对数据进行清洗和转换;数据加载模块,用于将数据从消息队列加载到目的地。该系统使得基于Kafka Connect创建ETL实例的过程操作更简单、管理更规范、配置更灵活,并且使得ETL程序耦合度低、容错性高,易于扩展和集成。

    基于嵌入增强和自适应的小样本图像增量分类方法及装置

    公开(公告)号:CN114549894A

    公开(公告)日:2022-05-27

    申请号:CN202210067078.X

    申请日:2022-01-20

    Abstract: 本发明提出一种基于嵌入增强和自适应的小样本图像增量分类方法,该方法包括:获取图像增量分类系统,该系统用于对待分类图像进行分类任务;获取待分类图像,并上传至系统进行识别,在系统识别失败时,获取该类别少量图像作为训练样本,并将其通过特征预训练模块计算得到目标原型,并通过混合关系映射模块对目标原型和/或原始原型进行自适应调整,以更新系统中所有原型,实现对该类别待分类图像的分类识别;在系统识别成功时,将待分类图像通过特征预训练模块、混合关系映射模块和分类器进行分类识别,并输出分类结果。该方法用于增强分类器的可扩展性,以及引入混合关系映射机制,优化样本的原型表示,使系统逐渐适用于所有可见类图像的识别。

    通用可配置、兼容多模型、领域可迁移的多轮对话系统

    公开(公告)号:CN111414195B

    公开(公告)日:2022-03-25

    申请号:CN201910108762.6

    申请日:2019-02-03

    Abstract: 本发明公开了一种通用可配置、兼容多模型、领域可迁移的多轮对话系统,包括:可配置模块用于根据当前所在领域的专业知识进行自定义的配置;对话理解模块用于通过对话理解对用户语句进行语义编码,并且通过替换兼容的对话理解模型进行意图识别和槽值对的联合提取;对话状态跟踪模块用于获取当前多轮历史的对话状态信息;策略学习模块,用于通过对话策略模型进行动作决策;对话生成模块用于根据相应的动作进行对话生成;在线训练模块用于作为用户模拟器提供给开发人员,并进行模型的在线迭代更新和生成可用的数据。该系统整体架构模块通用,适应不同应用场景,各字段参数通用可配置,可随意接受语料,对话理解、对话策略模型可灵活扩展更换。

    基于知识图谱的时序可视化开发方法及系统

    公开(公告)号:CN114036311A

    公开(公告)日:2022-02-11

    申请号:CN202111314947.6

    申请日:2021-11-08

    Abstract: 本公开提供的基于知识图谱的时序可视化开发方法、系统及存储介质中,获取数据请求,然后通过查询模板将数据请求生成查询语句,并基于查询语句进行查询,再将查询得到的结果按照时间进行排序,根据时间序列渲染时间轴,获取时间轴上的时间节点的数据请求,并查询符合时间节点的数据,对查询到的时间节点对应的数据进行索引标记,对数据进行可视化渲染,再输出渲染后的数据。由此可知,本公开提出的方法中,实现了基于时间轴的知识图谱动态可视化展示,提升了数据查询效率,减少了查询所花费的时间。同时,可以根据数据的状态仅对发生变化的数据进行重新渲染,无需对全部数据进行重新渲染,从而提升了渲染效率,降低了渲染耗费时长。

Patent Agency Ranking