一种多语言Pipeline轻量模型构建方法

    公开(公告)号:CN117873461A

    公开(公告)日:2024-04-12

    申请号:CN202311633679.3

    申请日:2023-12-01

    IPC分类号: G06F8/35 G06F8/30 G06N20/00

    摘要: 本申请属于机器学习技术领域,尤其涉及一种多语言Pipeline轻量模型构建方法,步骤一、Python通用算法模型的开发:设计python和scala,java语言之间离线批量数据传输结构;基于Spark、Mleap框架开发python算子,实现spark Dataframe在scala和python语言之间数据传输;步骤二、ML Pipeline模型训练流程搭建:基于业务场景,选择算子搭建机器学习流水线模型,调用模型的序列化方法,生成最终的MLeap Bundle模型。步骤三、基于MLeap Runtime的实时预测服务搭建:搭建mleap runtime运行池环境,将Spark MLlib模型序列化成MLeap格式,部署一个预测服务,加载序列化的模型并处理实际的预测请求。该方法使用Python和Scala,Java三种不同的语言以及相关的机器学习库和框架混合建模,提出了端到端的多语言机器学习pipeline,从而充分发挥它们各自的优势。

    一种基于自然语言大模型的数据可视化分析方法

    公开(公告)号:CN117235248A

    公开(公告)日:2023-12-15

    申请号:CN202311214755.7

    申请日:2023-09-20

    摘要: 本发明公开一种基于自然语言大模型的数据可视化分析方法,包括以下步骤,将数据通过元数据标注转换为业务模型。将标注的元数据转化为向量形式,并进行存储;使用自然语言进行数据探索和分析,并结合大模型推理技术实现意图识别;从向量库中提取与分析相关的元数据信息;将分析意图与关联元数据结合利用提词工程技术生成SQL/DSL语言;利用分析引擎执行生成的SQL/DSL语言,获取数据并进行分析;根据用户需求和数据类型,选择适合的数据可视化方式,将处理后的数据进行直观、灵活和高效的可视化展示。本发明主要应用于数据可视化领域,能够帮助用户通过自然语言大模型的方式更好的分析和理解数据,快速实现数据的可视化查询和分析。

    具有身份识别功能的预警方法
    3.
    发明公开

    公开(公告)号:CN115758302A

    公开(公告)日:2023-03-07

    申请号:CN202211570574.3

    申请日:2022-12-08

    摘要: 本发明属于预警技术领域,具体公开了具有身份识别功能的预警方法,包括以下步骤:用户将需要预警的业务数据接入与预警平台中,预警平台通过数据模型引擎自动获取元数据信息并存储;所述元数据信息包括若干个用户,以及每个用户可获取和/或接收预警数据的权限;用户根据任务调度引擎设定任务执行策略以及任务启动周期;任务执行策略执行任务时,当任务执行策略与预警规则匹配时,触动预警模块,预警模块匹配出预警发送对应的用户,并将预警信息通过可视化图形的展示方式,发送给对应的用户。本发明通过所见即所得的自动化预警配置和触发机制,解决企业中业务问题无法实时被员工获取的问题。

    营销业务支持方法、系统、电子设备及存储介质

    公开(公告)号:CN118170955B

    公开(公告)日:2024-08-02

    申请号:CN202410582382.7

    申请日:2024-05-11

    摘要: 本申请公开了一种营销业务支持方法、系统、电子设备及存储介质,该方法包括:解析每篇文档中的文本块,提取出文本块中的原始图片并存储;将文本块中的原始图片替换为图片编码;基于每篇文档解析后的解析结果,构建专业知识库;获取用户输入的第一提问信息;基于第一提问信息和专业知识库,确定第一预设数量的参考段落;将每个参考段落中的图片编码移除;基于已移除图片编码的第一预设数量的参考段落,生成与第一提问信息对应的文字结果;将文字结果中提到的图片名称替换为对应的原始图片。本申请实施例提供的方法能够针对用户的提问生成图文混合的输出结果,增强了信息的直观性和易理解性,为用户提供了更为丰富和友好的交互体验。

    营销业务支持方法、系统、电子设备及存储介质

    公开(公告)号:CN118170955A

    公开(公告)日:2024-06-11

    申请号:CN202410582382.7

    申请日:2024-05-11

    摘要: 本申请公开了一种营销业务支持方法、系统、电子设备及存储介质,该方法包括:解析每篇文档中的文本块,提取出文本块中的原始图片并存储;将文本块中的原始图片替换为图片编码;基于每篇文档解析后的解析结果,构建专业知识库;获取用户输入的第一提问信息;基于第一提问信息和专业知识库,确定第一预设数量的参考段落;将每个参考段落中的图片编码移除;基于已移除图片编码的第一预设数量的参考段落,生成与第一提问信息对应的文字结果;将文字结果中提到的图片名称替换为对应的原始图片。本申请实施例提供的方法能够针对用户的提问生成图文混合的输出结果,增强了信息的直观性和易理解性,为用户提供了更为丰富和友好的交互体验。

    基于维度模型的指标计算引擎实现方法

    公开(公告)号:CN116166686A

    公开(公告)日:2023-05-26

    申请号:CN202211570969.3

    申请日:2022-12-08

    摘要: 本发明公开了基于维度模型的指标计算引擎实现方法,包括以下步骤:构建多维模型表和维度表,形成数据来源;根据明细表,结合函数计算原子指标;使用原子指标,得到衍生指标;解析技术口径、维度以及运算公式生成动态SQL语句,得到衍生指标计算结果;基于衍生指标计算结果,解析引擎配置表中的技术口径,同时解析生成动态SQL语句,封装成对应程序模块并执行,得到复合指标计算结果;构建相同维度以及相同数据统计期的衍生指标和复合指标的汇总表;调度运行后生成指标表,在应用层中,显示汇总表,并通过人机交互,提供对外服务。本发明中,保证了指标统一归口管理,指标口径统一出去,指标统一运算和监控,从而有效支撑各应用报表用数需求。

    一种分布式信号数据分析系统
    7.
    发明公开

    公开(公告)号:CN115952145A

    公开(公告)日:2023-04-11

    申请号:CN202211588225.4

    申请日:2022-12-12

    摘要: 本发明公开一种分布式信号数据分析系统,包括信号数据读取模块,信号数据读取模块包括有HDFS,HDFS搭载分布式计算引擎,信号数据读取模块基于HDFS从信号文件或数据库中的分布式提取数据,将数据分布式读取为信号数据,实现离线的信号数据的IO加速;信号数据与表格数据转换模块,用于将信号数据借助Arrow通信转换为信号DataFrame;信号数据分析模块,用于通过Arrow序列化和反序列化来实现Spark和Python间的数据通信,并基于动态内存加载的信号分析函数引用机制实现分块调用信号分析函数。本发明分调用了Spark集群资源,能够避免单机计算海量信号数据时面临的资源不足的问题,同时提高对海量信号数据分析的执行效率。

    一种拖拽式构建企业级AI应用的系统及方法

    公开(公告)号:CN110058985A

    公开(公告)日:2019-07-26

    申请号:CN201910282052.5

    申请日:2019-04-09

    摘要: 本发明提供了一种拖拽式构建企业级AI应用的系统及方法,其中系统包括:调取单元,所述调取单元包括若干个功能模块,将任一功能模块拖拽至显示单元后释放形成控件,所述调取单元运行过程中将所述若干个控件进行数据连通以实现数据传输和计算;显示单元,所述显示单元用于呈现调取单元的若干个控件组的属性信息,所述若干控件组包括至少一个控件;部署单元,所述部署单元可以将调取单元进行发布,并形成调度、服务等应用形式;最后调用系统运行计算出来的数据信息并通过应用界面予以展示。本发明提供了功能模块搭建以及运行、检查、部署的环境,使得用户能随时调取功能模块,提高了使用便捷性。

    一种基于大语言模型多模态的数据分析方法

    公开(公告)号:CN117851555A

    公开(公告)日:2024-04-09

    申请号:CN202311634118.5

    申请日:2023-12-01

    IPC分类号: G06F16/332 G06F16/33

    摘要: 本申请属于数据分析技术领域,尤其涉及一种基于大语言模型多模态的数据分析方法,整理、收集数据分析自然语言样本数据,对LLM预训练模型进行样本数据训练、参数微调;整理、收集SQL、Cypher、Python脚本指令样本数据,对LLM预训练模型分别进行样本数据训练、参数微调;构建一个执行脚本指令的引擎工具,通过运行得到的脚本指令而获取脚本指令的数据分析结果;构建一个数据分析代理服务,用于接收数据分析自然语言,用于调用意图识别模型进行意图识别,用于调用相应脚本指令生成模型进行指令生成,用于调用脚本指令执行引擎进行脚本指令执行及获取分析数据。本申请降低了数据分析的门槛,提高了数据分析效率,节省了人工成本。

    一种基于OpenFaas架构的模型计算托管系统

    公开(公告)号:CN116909535A

    公开(公告)日:2023-10-20

    申请号:CN202310929905.6

    申请日:2023-07-27

    摘要: 本发明公开一种基于OpenFaas架构的模型计算托管系统,包括有:镜像管理模块,提供镜像上传、在线编辑器、镜像维护功能,镜像管理模块为模型管理模块提供基础运行环境,在线编辑器为模型管理模块的在线编码功能提供支持;模型管理模块,提供模型维护、版本维护、在线编码功能,模型管理模块用于模型的开发,为触发器管理模块提供模型;触发器管理模块,触发器管理模块结合OpenFaas服务,提供触发器维护、监控功能,触发器管理模块用于创建模型对外提供的服务。本发明通过对Openfaas平台的扩展,以无服务器的方式快速构建模型,实现对AI模型的统一管理、部署和运维,有效的解决了企业中存在的模型分散管理难、异构模型部署难、模型统一运维难等一系列痛点问题。