一种基于数据库大数据量表快速生成多格式文件的方法

    公开(公告)号:CN119201848A

    公开(公告)日:2024-12-27

    申请号:CN202411359945.2

    申请日:2024-09-27

    Abstract: 本发明提供了一种基于数据库大数据量表快速生成多格式文件的方法,属于文件生成领域。方法检测到文件生成请求时,启动主线程组装文件生成任务的上下文环境,并基于上下文环境初始化生产者线程、消费者线程和文件生成线程;调用生产者线程对数据库进行流式查询,并将流式查询得到的目标数据推送至消息队列;调用消费者线程,从消息队列中批量拉取目标数据并根据目标数据生成文件生成任务,将任务提交到文件生成线程;文件生成线程根据文件生成任务生成对应格式的目标文件,并将目标文件保存到临时目录;通过主线程将所有生成的目标文件压缩,并将压缩后的文件上传至数据中台。本发明可以提升大数据量文件生成效率,并降低对内存资源的消耗。

    一种基于一体化的Web-ETL大数据融合方法

    公开(公告)号:CN113111104A

    公开(公告)日:2021-07-13

    申请号:CN202110366843.3

    申请日:2021-04-06

    Abstract: 本发明公开了一种基于一体化的Web‑ETL大数据融合方法,包括以下步骤:S1:根据数据来源选择数据采集方式,进行数据采集,将采集的数据存入Web‑ETL平台数据库,进行数据库资源配置;S2:数据库资源配置完成后,自动抽取数据库的元数据,形成元数据列表S3:根据业务需求快速配置资源目录,形成对内数据资产的管理;S4:由数据资源目录发布数据服务目录,用于数据共享与数据交换;S5:采用Web‑ETL工具和数据抓取工具对Web‑ETL平台数据库中的数据进行加工处理、建模和调度。本发明通过一体化的Web‑ETL工具和数据抓取工具,提供面向对象的操作方式,一站式完成数据采集、加工处理流程,提高了用户对数据治理工具操作的延续性,降低数据处理的维护成本。

    一种基于多脚本语言的API编排网关

    公开(公告)号:CN119449533A

    公开(公告)日:2025-02-14

    申请号:CN202411601267.6

    申请日:2024-11-11

    Abstract: 本发明提供了一种基于多脚本语言的API编排网关,属于API网关技术领域。网关包括API编排模块、请求缓存加载模块和API调用模块;其中,API编排模块用于配置多个API编排组件,通过API编排组件对多个API接口的groovy脚本进行编排,并将多个API接口的groovy脚本聚合后存储至数据库;请求缓存加载模块用于将API接口对应的groovy脚本从数据库预加载到Redis缓存,并接收到API调用请求时,从缓存中调用对应groovy脚本以响应请求;API调用模块用于依据接口地址发起API调用请求,并将响应的groovy脚本存入服务器的本地临时文件中,通过Lite Flow可视化组件加载执行groovy脚本。本发明实现了对API请求和响应的动态处理,增强了系统的灵活性和扩展性。

    一种可动态扩展的http请求接口转发方法及装置

    公开(公告)号:CN119316403A

    公开(公告)日:2025-01-14

    申请号:CN202411438607.8

    申请日:2024-10-15

    Abstract: 本发明提供了一种可动态扩展的http请求接口转发方法及装置,属于请求转发技术领域。方法通过访问接口接收客户端提交的请求,然后对请求进行解析,得到目标地址、请求方法和请求参数。再动态加载外部jar包对前置处理器进行动态扩展,利用扩展后的前置处理器对请求参数进行前置处理;再将前置处理后的请求参数转发至目标HTTP接口;获取接口的响应数据,并动态加载外部jar包对后置处理器进行动态扩展,利用后置处理器对响应数据进行后置处理,同时异步记录处理后的响应数据,记录完成后将处理后的响应数据转发至客户端。本发明支持对前置处理和后置处理过程进行动态加载外部扩展,适应多变的业务需求,提高了请求接口的可扩展性和系统的稳定性。

    一种特定场景下的数据共享方法及系统

    公开(公告)号:CN113110945A

    公开(公告)日:2021-07-13

    申请号:CN202110366840.X

    申请日:2021-04-06

    Abstract: 本发明公开了一种特定场景下的数据共享方法及系统,方法包括以下步骤:开放数据服务,将数据资源发布为服务目录进行相关数据访问权限的配置,并提供给使用方查阅和提交数据共享服务申请;生成数据,数据共享服务申请通过后生成对应的数据接口或数据文件;安全验证,使用方上传验证参数提交调用接口请求,平台获取接口调用请求后进行安全验证,验证通过后根据接口参数进行数据查询,将查询结果加密后返回给使用方,使用方对返回数据解密并根据解密出的数据下载数据共享文件。本发明数据共享内存大,时效性高,能提供定制化数据共享服务,满足特殊的数据共享计算函数,生成的服务目录可灵活自定义配置相关条件参数。

Patent Agency Ranking