一种实时知识图谱构建系统
摘要:
本发明公开了一种实时知识图谱构建系统,涉及图分析平台技术领域。该实时知识图谱构建系统,包括应用程序部分、知识存储模块、知识消费模块、知识总线、数据源总线和数据源模块;其中每个部分的具体工作如下:A1、数据源模块负责数据采集并接入KAFKA消息队列;B1、源数据总线负责传输需要提取实体/关系的基础数据;C1、知识提取模块负责用SparkStreaming消费KAFKA中的基础数据进行实体提取、关系提取。该实时知识图谱构建系统,通过应用程序部分、知识存储模块、数据源总线和数据源模块等模块的配合使用,使用Spark Streaming消费KAFKA中的基础数据进行实体提取、关系提取,将失败数据采用HBase记录在外部存储内,同时可以解决提取数据丢失或者重复以及数据源接入单一的问题。
公开/授权文献
0/0