-
公开(公告)号:CN117453707B
公开(公告)日:2024-06-18
申请号:CN202311688254.2
申请日:2023-12-09
申请人: 北京镜舟科技有限公司
发明人: 罗一鑫
摘要: 本申请提供了一种数据更新方法、装置、电子设备及存储介质,涉及数据处理技术领域,其中,该方法包括:获取待更新数据集的目标信息,其中,目标信息中包括待更新数据集的目标行数和目标列数;根据目标行数和目标列数确定待更新数据集的目标更新模式,目标更新模式包括行模式和列模式,行模式用于表示仅对需要更新的行进行合并操作的模式,列模式用于表示仅对需要更新的列进行合并操作的模式;根据待更新数据集按照目标更新模式对源数据集进行更新。实施本申请提供的技术方案,解决了相关技术中数据更新方式存在比较单一的技术问题,达到了提高数据更新的效率的效果。
-
公开(公告)号:CN115374155A
公开(公告)日:2022-11-22
申请号:CN202210939834.3
申请日:2022-08-05
申请人: 北京镜舟科技有限公司
发明人: 郑志铨
IPC分类号: G06F16/2455 , G06F16/2458 , G06F16/242 , G06F16/27
摘要: 本发明实施例涉及一种数据查询方法、装置、电子设备及存储介质,所述方法包括:获取查询请求,解析所述查询请求中的查询元数据,将所述查询元数据与元数据集进行匹配;根据所述查询元数据与所述元数据集的匹配结果,确定目标查询计划;执行所述目标查询计划,以查询与所述查询请求对应的数据。由此,可以实现大大降低了数据湖数据获取的延迟,进一步提高数据湖分析的性能,实现实时数据湖分析。
-
公开(公告)号:CN115168061B
公开(公告)日:2022-12-20
申请号:CN202211100744.1
申请日:2022-09-09
申请人: 北京镜舟科技有限公司
发明人: 丁凯
摘要: 本申请涉及一种计算存储分离方法、系统、电子设备及存储介质,涉及大数据技术领域,该计算存储分离方法包括:获取目标应用程序的用户操作请求,依据用户操作请求携带的请求参数信息,确定第一计算节点的应用服务请求和应用服务请求对应的目标抽象接口,通过目标抽象接口,触发第一计算节点对应的控制节点依据应用服务请求进行资源分配处理,得到应用服务响应信息,依据应用服务响应信息,确定用户操作请求对应的操作结果,从而解决了现有技术中需要针对不同的应用场景设计对应的实现方案所导致的研发周期长的问题。
-
公开(公告)号:CN115203173A
公开(公告)日:2022-10-18
申请号:CN202210787342.7
申请日:2022-07-04
申请人: 北京镜舟科技有限公司
发明人: 万鹏飞
IPC分类号: G06F16/21 , G06F16/242 , G06F16/28 , G06F11/36
摘要: 本申请提供了一种性能测试方法、装置、电子设备及存储介质,属于数据库技术领域。本申请通过,获取第一数据库中待测试的目标数据表,其中,所述目标数据表中预先导入了预设数据量的数据;基于所述目标数据表生成第一查询语句,以及,基于所述第一查询语句确定第二查询语句,其中,所述第二查询语句为所述第一查询语句的等价语句;基于所述第一数据库分别执行所述第一查询语句和所述第二查询语句,得到执行所述第一查询语句的第一执行时间和执行所述第二查询语句的第二执行时间;在所述第一执行时间和所述第二执行时间的差值大于预设阈值时,确定所述第一数据库存在性能缺陷。
-
公开(公告)号:CN115203134A
公开(公告)日:2022-10-18
申请号:CN202210807756.1
申请日:2022-07-08
申请人: 北京镜舟科技有限公司
发明人: 李超勇
IPC分类号: G06F16/13 , G06F16/16 , G06F16/172
摘要: 本公开实施例涉及一种数据更新方法、装置、电子设备及存储介质,上述方法包括:获取待更新的第一数据集合和预先创建的第一数据文件集合;在所述第一数据文件集合中,查找所述第一数据集合中的每个第一数据的更新对象,以及将每个所述第一数据的更新对象,作为每个所述第一数据对应的第二数据,将所述第一数据文件集合中,包括所述更新对象的第一记录,确定为目标第一记录;采用预设符号,在所述第一数据文件集合中,标记每个所述目标第一记录;创建第二数据文件,以及将所述第一数据集合写入所述第二数据文件。由此方法,可以降低数据更新过程中写入操作执行的次数。
-
公开(公告)号:CN117708879B
公开(公告)日:2024-08-02
申请号:CN202311714514.9
申请日:2023-12-13
申请人: 北京镜舟科技有限公司
发明人: 刘航源
IPC分类号: G06F21/62
摘要: 本发明涉及一种信息权限控制方法、系统、终端及存储介质,涉及信息安全技术的领域,其方法包括获取访问请求;解析访问请求确定访问的数据对象及数据类型;调取权限库和数据对象的数据,权限库包括针对不同数据对象的数据创建的多种权限策略;根据数据对象在权限库中匹配得到匹配结果;根据匹配结果对数据对象的数据进行配置并输出。本发明能够以临时视图的方式进行呈现访问结果。用户在查看临时视图之后,临时视图能够被释放,无须存储,有助于缓解存储大量视图对于数据库的使用的影响。同时,当用户查看数据时,查看的是对数据对象的数据进行配置后的数据,避免了其他数据泄露的风险,从而提高数据库的实用性和隐私数据安全性。
-
公开(公告)号:CN117389747B
公开(公告)日:2024-02-09
申请号:CN202311685525.9
申请日:2023-12-11
申请人: 北京镜舟科技有限公司
发明人: 蔡小华
摘要: 本申请实施例提供一种分布式数据库的数据共享方法、电子设备和存储介质,涉及数据库领域。该方法包括获取多个待分配数据,对各个所述待分配数据进行分片,得到多个数据分片;基于各个所述数据分片确定多个数据分组;获取多个计算节点,对各个所述计算节点进行分组,得到多个虚拟计算数仓;基于各个所述数据分组与各个虚拟计算数仓的对应的关系,确定各个所述数据分片对应的数据分片计算副本;基于所述数据分组和所述虚拟计算数仓,对所述数据分片计算副本进行调度,得到共享分配节点。本申请实施例能够提升读写数据吞吐量,进而提高性能,实现高效并行访问共享远程存储。
-
公开(公告)号:CN117453707A
公开(公告)日:2024-01-26
申请号:CN202311688254.2
申请日:2023-12-09
申请人: 北京镜舟科技有限公司
发明人: 罗一鑫
摘要: 本申请提供了一种数据更新方法、装置、电子设备及存储介质,涉及数据处理技术领域,其中,该方法包括:获取待更新数据集的目标信息,其中,目标信息中包括待更新数据集的目标行数和目标列数;根据目标行数和目标列数确定待更新数据集的目标更新模式,目标更新模式包括行模式和列模式,行模式用于表示仅对需要更新的行进行合并操作的模式,列模式用于表示仅对需要更新的列进行合并操作的模式;根据待更新数据集按照目标更新模式对源数据集进行更新。实施本申请提供的技术方案,解决了相关技术中数据更新方式存在比较单一的技术问题,达到了提高数据更新的效率的效果。
-
公开(公告)号:CN115185985A
公开(公告)日:2022-10-14
申请号:CN202211091770.2
申请日:2022-09-07
申请人: 北京镜舟科技有限公司
发明人: 方祝和
IPC分类号: G06F16/2453 , G06F16/2457 , G06F16/2455 , G06F9/38 , G06F12/0842 , G06F9/50
摘要: 本申请实施例涉及一种数据排序方法、装置、电子设备及存储介质,方法包括:由待排序标识集得到T个子标识集并启动与其对应的T个线程;根据子标识集中标识分布特征将各个子标识集划分为N个区间,将待排序标识集对应的待排序数据集存储到本地非一致内存访问节点;将各个子标识集中标识分布特征相同的区间进行组合,得到N个目标子标识集,针对任一线程启动C个协程交错执行;针对任一协程,确定协程对应的目标子标识集,采用单指令多数据流向量化方式对目标子标识集循环筛选出最小或最大标识,并从本地非一致内存访问节点中获取其对应的数据,以组成N个有序目标子数据集,合并得到有序数据集。可同时解决待排序数据排序过程中遇到的多个瓶颈。
-
公开(公告)号:CN117708879A
公开(公告)日:2024-03-15
申请号:CN202311714514.9
申请日:2023-12-13
申请人: 北京镜舟科技有限公司
发明人: 刘航源
IPC分类号: G06F21/62
摘要: 本发明涉及一种信息权限控制方法、系统、终端及存储介质,涉及信息安全技术的领域,其方法包括获取访问请求;解析访问请求确定访问的数据对象及数据类型;调取权限库和数据对象的数据,权限库包括针对不同数据对象的数据创建的多种权限策略;根据数据对象在权限库中匹配得到匹配结果;根据匹配结果对数据对象的数据进行配置并输出。本发明能够以临时视图的方式进行呈现访问结果。用户在查看临时视图之后,临时视图能够被释放,无须存储,有助于缓解存储大量视图对于数据库的使用的影响。同时,当用户查看数据时,查看的是对数据对象的数据进行配置后的数据,避免了其他数据泄露的风险,从而提高数据库的实用性和隐私数据安全性。
-
-
-
-
-
-
-
-
-