一种基于数据流混合编排的分析模型构建方法及系统

    公开(公告)号:CN112130812B

    公开(公告)日:2022-04-15

    申请号:CN202010772705.0

    申请日:2020-08-04

    Abstract: 本发明提供了一种基于数据流混合编排的分析模型构建方法,所述基于数据流混合编排的分析模型构建方法包括以下步骤:拆分处理子任务,接收分析任务的数据流转,并将分析任务按照分析流程拆分为处理子任务;修饰处理子任务,为处理子任务定义:数据输入、数据输出及处理逻辑;封装分析任务,将分析任务封装为编码结构的数据流图;转换语言格式,将数据流图转换为标记语言格式的任务流图;调度执行,将任务流图解析,并进行分发调度执行;生成分析结果,返回调度执行的执行结果,得到分析结果。本发明还提供了一种基于数据流混合编排的分析模型构建系统。本发明能够解决了数据分析建模过程中建模方式单一、建模流程复杂、缺少混合运算支持的问题。

    一种算子集构建及调用的方法和装置

    公开(公告)号:CN112130933A

    公开(公告)日:2020-12-25

    申请号:CN202010773698.6

    申请日:2020-08-04

    Abstract: 本发明提供了一种算子集构建方法和装置,算子单元接收,所述算子单元为处理单元用于完成所对应的处理任务;算子接口参数获取,根据所述算子单元获取所述算子接口参数,所述算子接口参数包括开启参数和运行参数;算子模块构建,将获取了算子接口参数的算子单元构建为算子模块。所述算子单元的接口参数为统一的包括有开启参数和运行参数,统一所述算子接口参数的规格,降低开发人员多种语言和算法的衔接难度;对于业务人员,业务人员可以直接调用算子模块,降低工作难度。本发明还提供了一种算子集调用方法和装置,业务人员可以针对运行环境选择适用的算子模块,再将被选择的算子模块发送至运行节点运行,提高业务人员工作效率。

    一种融合情感特征的评论文本细粒度情感分析方法

    公开(公告)号:CN113761910A

    公开(公告)日:2021-12-07

    申请号:CN202110283681.7

    申请日:2021-03-17

    Abstract: 本发明公开了一种融合情感特征的评论文本细粒度情感分析方法,包括以下步骤S1、已有评论数据语料预处理;S2、联合向量构建;S3、ADBC细粒度情感模型训练。有益效果:本发明通过融合情感标签,情感词、方面词来表示文本向量,设计一种针对评论文本的增强语义的高鲁棒性细粒度情感分析框架,更多的挖掘文本中潜在的情感信息,同时在注意力机制之前嵌入CNN卷积神经网络对Bi‑GRU的输出层进行特征的强化学习,从而提高了细粒度情感分析的准确性。能够反映出用户真实的评价信息,使用户对产品的各方面好坏有更加直接的了解。为消费者及供应商们提供高效可靠的反馈结果。

    一种基于弱监督的领域文本标注方法

    公开(公告)号:CN113761911A

    公开(公告)日:2021-12-07

    申请号:CN202110283769.9

    申请日:2021-03-17

    Abstract: 本发明公开了一种基于弱监督的领域文本标注方法,包括以下步骤:S1产品语料预处理过程;S2WCE‑S‑LDA模型训练;S3标注数据。有益效果:本技术提出了字词联合向量改进seeded‑lda方法实现对语料的自动标注。本发明公布了一种针对中文评论文本自动标注框架。设计一种自适应的考虑文本向量改进seeded‑lda模型的文本自动标注方法。通过本方法可以提高文本训练语料的标注速度以及规模。进而为训练模型提供更多的训练资源。本发明的目的在于提供一种面向规模语料评论的自动标注方法与框架,快速生成分类训练样本,降低人工参与,提高工作效率。同时保证一定的标注准确率,为快速分析大规模语料提供有力帮助。

    一种基于容器云的软件授权认证方法

    公开(公告)号:CN113761481A

    公开(公告)日:2021-12-07

    申请号:CN202110481566.0

    申请日:2021-04-30

    Abstract: 本发明公开了一种基于容器云的软件授权认证方法,包括以下步骤:S1、将软件的授权规则信息保存在一个结构体中,将其序列化为一个二进制文件;S2、使用密钥将步骤S1中生成的二进制文件加密为license文件;S3、将license文件以配置映射的方式加载到容器云平台S4、将license证书文件与相关的网卡mac地址进行匹配。有益效果:在容器云集群环境,通过configmap加载license,通过operator收集服务器信息、分发license,减少逐台获取物理服务器mac地址、分发license的操作,从而提高效率。

    一种面向多源异构大数据的可视化联动效果实现方法

    公开(公告)号:CN113761047A

    公开(公告)日:2021-12-07

    申请号:CN202110291539.7

    申请日:2021-03-18

    Abstract: 本发明公开了一种面向多源异构大数据的可视化联动效果实现方法,包括以下步骤:S1、创建数据源,生成连接模板,配置数据源信息;S2、采用自定义查询语句,对接入数据源进行不同维度的预处理,包括数据二次或多次处理,并缓存预处理结果集;S3、根据步骤S2中缓存的结果数据集和数据集本身特点,选择符合的可视化组件,完成从数据到图表的制作;S4、从步骤S3中的可视化组件中选择需要联动呈现的图表,完成联动设置。有益效果:对异源数据进行多次预处理加工,借助交互式可视化效果配置功能,实现数据内在关系的动态呈现,简化从原始数据到可视化效果呈现的流程,降低大规模数据的可视化绘制和配置难度,提高数据可视化呈现能力。

    一种基于统一SQL的多源异构数据质量校验方法和系统

    公开(公告)号:CN113760681A

    公开(公告)日:2021-12-07

    申请号:CN202110260430.7

    申请日:2021-03-10

    Abstract: 本发明公开了一种基于统一SQL的多源异构数据质量校验方法和系统,根据本发明的一个方面包括以下步骤:S1、创建质量校验规则;S2、创建质量校验任务;S3、创建质量检验作业;S4、创建质量校验调度计划;S5、提交调度计划执行校验逻辑;S6、质量报告生成;根据本发明的另一个方面包括任务作业配置模块、作业调度模块、校验执行模块、数据质量报告生成与数据质量分析模块。本发明的有益效果为:可以对不同存储形式的数据进行直观、灵活、统一的质量管理,同时也能满足复杂的业务需求。

    一种用于人工智能的建模方法、电子设备和存储介质

    公开(公告)号:CN112130851A

    公开(公告)日:2020-12-25

    申请号:CN202010772703.1

    申请日:2020-08-04

    Abstract: 本发明提供了一种用于人工智能的建模方法,包括以下步骤:模型初始化:接收新建模块组件指令或编辑模块组件指令,生成菜单组件和视图组件;算子组件构建:接收选择算子标识的指令;接收复制指令;接收生成位置指令;在所述位置建立算子组件,所述算子组件抽取算子标识携带的信息;连线构建:判断连线输出节点,判断连线输入节点,在连线输出节点和连线输入节点之间构建有向连线;运行验证:接收运行指令,将数据沿有向连线在算子组件之间进行传递,将正在执行的算子组件进行突出显示,在算子组件上显示运行结果。本发明还提供了一种电子设备、存储介质,将创建模型的过程可视化,便于查看模型的结构、数据流向、执行、运行结果。

    一种面向大数据分析的多用户协同建模方法、系统及设备

    公开(公告)号:CN112130813A

    公开(公告)日:2020-12-25

    申请号:CN202010772721.X

    申请日:2020-08-04

    Abstract: 本发明保护一种面向大数据分析的多用户协同建模方法、系统及设备,包括以下步骤:获取数据信息,根据所述数据信息构建当前任务分析流程,所述当前任务分析流程包括普通节点和超级节点,所述超级节点能够进行参数输入和输出;接收第一操作指令,确定协同用户,将所述当前任务分析流程对所述协同用户进行共享和分配;接收所述协同用户对所述任务分析流程的第二操作指令,生成最终任务分析流程;接收第三操作指令,运行最终任务分析流程。所述超级节点的设置解决了数据分析应用构建中各个环节相互依赖、无法并行处理的技术问题,产生了各类角色充分发挥各自最大优势、构建效率高的技术效果。

    一种基于kubernetes的大数据管理平台

    公开(公告)号:CN113760448A

    公开(公告)日:2021-12-07

    申请号:CN202110484469.7

    申请日:2021-04-30

    Abstract: 本发明公开了一种基于kubernetes的大数据管理平台,包括大数据组件软件管理、大数据组件安装和启动、大数据组件暂停、大数据组件恢复和大数据组件删除、大数据组件配置同步、大数据组件日志收集和大数据组件监控。有益效果:解决传统开源大数据管理平台(hdp、cdh)无法多实例部署大数据组件的问题。本发明拟基于kubernetes管理平台的特性,实现一个大数据平台管理工具,能够对大数据组件进行有效管理,管理功能包括大数据组件管理,大数据组件安装、启动、暂停、恢复和删除,大数据组件配置修改与同步,大数据组件日志搜集,大数据组件监控。

Patent Agency Ranking