公开(公告)号：CN119271828A

公开(公告)日：2025-01-07

申请号：CN202411130014.5

申请日：2024-08-16

Applicant: 北京明朝万达科技股份有限公司

Inventor： 侯文广 ,  王志海 ,  喻波 ,  安鹏

IPC: G06F16/41 ,  G06F16/435 ,  G06F16/438

Abstract: 本发明提供一种非结构化数据的检索方法、装置、设备及可读介质，应用于非结构化数据检索系统，非结构化数据检索系统至少包括网关层、业务服务层以及数据处理层，利用数据处理层获取非结构化数据；利用数据处理层将非结构化数据转换为向量，并将向量存放入向量存储库中；利用网关层获取非结构化数据的检索请求，并将检索请求发送至业务服务层；利用业务服务层将检索请求发送至数据处理层；基于向量存储库，利用数据处理层对检索请求中待检索数据进行检索，得到检索结果；通过业务服务层利用相似度脚本对检索结果进行筛选，得到目标检索结果，并将目标检索结果发送至网关层；利用网关层输出目标检索结果，避免人工调权的成本较高且效果较差的问题。

公开(公告)号：CN116610739A

公开(公告)日：2023-08-18

申请号：CN202310498071.8

申请日：2023-05-05

Applicant: 北京明朝万达科技股份有限公司

Inventor： 侯文广 ,  谢少飞 ,  王志海 ,  喻波 ,  安鹏

IPC: G06F16/26 ,  G06F16/2455 ,  G06F16/27

Abstract: 本发明实施例提供了一种数据处理方法、装置及系统。该方法包括：接收数据采集任务，使用可视化采集工具采集数据，将采集到的数据缓存到中间件中；使用分布式文件管理系统内置的计算引擎消费所述中间件中的消息队列中的缓存数据，并存储处理后的数据；接收数据查询请求，使用分布式查询引擎解析所述查询请求，确定所述查询请求对应的查询节点，通过所述查询节点查询所述查询请求对应的数据，并返回查询结果。通过本发明实施例提供的数据处理方法，用户可控数据源和采集工具启停，可快速、高效的进行海量数据的采集、分析、汇总和处理，提高了数据处理效率。