公开(公告)号：CN117056408A

公开(公告)日：2023-11-14

申请号：CN202311110409.4

申请日：2023-08-30

Applicant: 北京中科闻歌科技股份有限公司

Inventor： 邢日上 ,  杜江涛 ,  禹平 ,  方省 ,  曹家 ,  罗引 ,  王磊

IPC: G06F16/25 ,  G06F16/2455 ,  G06F3/06

Abstract: 本公开涉及一种数据处理方法、装置、设备及计算机可读存储介质，该方法包括：获取序列化的二进制数据，将所述数据解码为标准化格式的数据对象；对所述标准化格式数据进行数据处理，得到处理结果；将所述处理结果序列化编码后存储到内存，进而写入磁盘中。本公开通过将数据解码为标准化格式数据，通过解码为标准化格式数据，提高使用便捷度；对标准化格式数据进行数据处理，得到处理结果，并将结果通过网络传输，降低了传输的数据大小，节省了带宽；将处理结果编码后存储到内存中，降低了对内存空间的占用；写入磁盘，提高了磁盘利用率，节省了磁盘的使用。

公开(公告)号：CN118013054A

公开(公告)日：2024-05-10

申请号：CN202410198070.6

申请日：2024-02-22

Applicant: 北京中科闻歌科技股份有限公司

Inventor： 张帅星 ,  杜江涛 ,  方省 ,  曹家 ,  罗引 ,  王磊

IPC: G06F16/38 ,  G06F16/33 ,  G06F16/31 ,  G06F16/338

Abstract: 本公开涉及一种文本搜索提速方法、装置、设备及存储介质，该方法包括：基于预设的质量分数规则，计算各个待检索文本对应的质量分数；按照各个待检索文本对应的质量分数从高到低的顺序，将各个待检索文本插入对应的索引；响应于文本搜索请求，在所述文本搜索请求对应的索引中命中预设数量的待检索文本，则停止搜索；将所述预设数量的待检索文本确定为搜索结果并返回。本公开通过对待检索文本预排序，在搜索文本时基于预排序结果，在确定预设数量的待检索文本时停止搜索，通过预排序，能够将搜索过程中的实时计算前置，同时通过请求截断避免扫描全量数据，减小请求遍历深度，大大减少搜索花费的时间和计算资源，在海量数据中，满足实时业务需求。

公开(公告)号：CN116955087A

公开(公告)日：2023-10-27

申请号：CN202310981093.X

申请日：2023-08-04

Applicant: 北京中科闻歌科技股份有限公司

Inventor： 张帅星 ,  杜江涛 ,  方省 ,  曹家 ,  罗引 ,  王磊

IPC: G06F11/30

Abstract: 本公开涉及一种数据分片调整方法、装置、设备及可读存储介质，通过对分布式集群进行监控，得到所述分布式集群的监控数据，基于所述监控数据判断分布式集群当前是否满足预设的分片调整条件，若所述分布式集群当前满足预设的分片调整条件，则对所述数据分片在分布式集群的各个节点上的分布进行调整。由于基于监控数据进行判断，当判断出所述分布式集群当前满足预设的分片调整条件时，对所述数据分片在分布式集群的各个节点上的分布进行调整，可以避免资源倾斜问题，充分发挥分布式集群的优势，从而会提高检索性能、提高系统的稳定性。并且，可以减少人工干预和手动操作，实现自动化管理，降低管理成本和工作量。

公开(公告)号：CN117033358A

公开(公告)日：2023-11-10

申请号：CN202310937656.5

申请日：2023-07-27

Applicant: 北京中科闻歌科技股份有限公司

Inventor： 杜江涛 ,  方省 ,  曹家 ,  罗引 ,  王磊

IPC: G06F16/215

Abstract: 本公开涉及一种数据排重方法、装置、设备及介质。其中，数据排重方法包括：获取待排重数据以及待排重数据对应的标识信息，标识信息包括待排重数据对应的第一指纹键；基于标识信息确定待排重数据对应的目标存储区域，目标存储区域对应有预设实例，预设实例用于对目标存储区域执行数据写入操作和/或数据读取操作；基于预设实例执行数据读取操作，得到目标存储区域中的目标存储数据，基于目标存储数据确定待排重数据是否存在，根据本公开实施例，能够提高数据排重的效率和准确率。