-
公开(公告)号：CN114665884B
公开(公告)日：2022-11-25
申请号：CN202210318623.8
申请日：2022-03-29
申请人： 北京诺司时空科技有限公司 , 哈尔滨工业大学
摘要： 时序数据库自适应有损压缩方法、系统及介质，涉及计算机技术领域，针对现有技术中缺少提高数据压缩比的方法的问题，本申请自适应用户的压缩精度需求。用户可以确定压缩精度，通过存储数据段的基和部分偏差来确保压缩在相应的精度内。数据库的数据压缩比高，节省存储空间。有损压缩降低精度，在保持基的同时将部分偏差丢弃，降低存储空间。使用类似Huffman编码的思想进行编码，进一步提升压缩比。编码方式灵活。可以更换编码方式，Huffman编码需要整段全解压缩才能够查询，查询效率低时可以选择更换不同的编码方式来提升效率。
-
公开(公告)号：CN114665885B
公开(公告)日：2022-11-04
申请号：CN202210330862.5
申请日：2022-03-29
申请人： 北京诺司时空科技有限公司 , 哈尔滨工业大学
摘要： 一种时序数据库自适应数据压缩方法，涉及数据压缩领域。本发明是为了解决目前时序数据压缩方法还存在无法对时序数据的特征和模式自适应压缩以及压缩率低造成内存空间浪费的问题。本发明包括：获取时序数据中的时间戳和Field Value；获取待压缩的时间戳每个时间点的delta‑of‑delta值；根据每个时间点的delta‑of‑delta值进行压缩获得每个时间点的压缩结果；以时间戳每个时间点为间隔将Field Value分为Field Value数据段，利用时间戳时间点的delta‑of‑delta值对Field Value数据段划分，获得Field Value数据小段；将Field Value数据小段输入训练好的神经网络分类器中，获得Field Value数据小段压缩结果；将时间戳压缩结果和Field Value压缩结果存储到内存中，获得时间序列数据压缩结果。本发明用于时序数据的压缩。
-
公开(公告)号：CN114679184B
公开(公告)日：2022-11-01
申请号：CN202210373970.0
申请日：2022-04-11
申请人： 哈尔滨工业大学 , 北京诺司时空科技有限公司
摘要： 一种时序数据库的数据压缩方法及系统，具体涉及一种时序数据库内的数据压缩方法及系统，本发明为解决时序数据库中压缩算法效率低的问题，利用时序数据库的压缩算法提取原始时序数据，原始时序数据包括整型数据和浮点数据；计算整型数据的delta数组；建立回归模型，设置权重因子为10，将delta数组输入回归模型内进行训练，得到训练好的回归模型；再将delta数组输入训练好的回归模型内，得到整型数据数值预测值；将整型数据数值预测值与真实值作差，得到误差结果；采用ZigZag变换对误差结果进行变换，并利用哈夫曼编码将变换后的误差结果进行保存；对浮点数据进行精度缩减，并采用异或运算进行压缩。属于计算机技术领域。
-
公开(公告)号：CN114679184A
公开(公告)日：2022-06-28
申请号：CN202210373970.0
申请日：2022-04-11
申请人： 哈尔滨工业大学 , 北京诺司时空科技有限公司
摘要： 一种时序数据库的数据压缩方法及系统，具体涉及一种时序数据库内的数据压缩方法及系统，本发明为解决时序数据库中压缩算法效率低的问题，利用时序数据库的压缩算法提取原始时序数据，原始时序数据包括整型数据和浮点数据；计算整型数据的delta数组；建立回归模型，设置权重因子为10，将delta数组输入回归模型内进行训练，得到训练好的回归模型；再将delta数组输入训练好的回归模型内，得到整型数据数值预测值；将整型数据数值预测值与真实值作差，得到误差结果；采用ZigZag变换对误差结果进行变换，并利用哈夫曼编码将变换后的误差结果进行保存；对浮点数据进行精度缩减，并采用异或运算进行压缩。属于计算机技术领域。
-
公开(公告)号：CN114640355B
公开(公告)日：2023-04-18
申请号：CN202210326314.5
申请日：2022-03-30
申请人： 北京诺司时空科技有限公司 , 哈尔滨工业大学
IPC分类号： H03M7/30 , G06F16/174 , G06F16/22 , G06F18/2433
摘要： 时序数据库的有损压缩及解压缩方法、系统、存储介质、设备，属于数据压缩技术领域。为了解决目前的压缩算法的ΔE选取可能难以适应整个时段的所有数据的问题，本发明所述压缩方法，首先进行离群点检测，然后将离群点单独存储为新的一个文件，记为离群点文件；将剔除离群点后的数据存储为一个文件，记为普通文件；将离群点文件和普通文件同时分别执行有损压缩；对第i段数据压缩后，计算该段压缩误差ei以及误差比动态调整旋转门压缩算法的压缩精度参数ΔEi+1＝ΔE×A×Pi，从而实现数据压缩。解压缩的过程中，首先判别数据点是属于普通文件还是离群点文件，分别根据压缩模型进行线性插值。主要用于时序数据库的有损压缩及解压缩。
-
公开(公告)号：CN114640355A
公开(公告)日：2022-06-17
申请号：CN202210326314.5
申请日：2022-03-30
申请人： 北京诺司时空科技有限公司 , 哈尔滨工业大学
IPC分类号： H03M7/30 , G06F16/174 , G06F16/22 , G06K9/62
摘要： 时序数据库的有损压缩及解压缩方法、系统、存储介质、设备，属于数据压缩技术领域。为了解决目前的压缩算法的ΔE选取可能难以适应整个时段的所有数据的问题，本发明所述压缩方法，首先进行离群点检测，然后将离群点单独存储为新的一个文件，记为离群点文件；将剔除离群点后的数据存储为一个文件，记为普通文件；将离群点文件和普通文件同时分别执行有损压缩；对第i段数据压缩后，计算该段压缩误差ei以及误差比动态调整旋转门压缩算法的压缩精度参数ΔEi+1＝ΔE×A×Pi，从而实现数据压缩。解压缩的过程中，首先判别数据点是属于普通文件还是离群点文件，分别根据压缩模型进行线性插值。主要用于时序数据库的有损压缩及解压缩。
-
公开(公告)号：CN114218287A
公开(公告)日：2022-03-22
申请号：CN202111662253.1
申请日：2021-12-30
申请人： 北京诺司时空科技有限公司 , 哈尔滨工业大学
IPC分类号： G06F16/2455 , G06F16/2458 , G06F16/28 , G06K9/62
摘要： 一种面向时序数据库的查询时间预测方法，涉及计算机技术领域，针对现有技术中查询时间预测速度慢的问题，包括：步骤一：读取时序数据；步骤二：将时序数据写入CnosDB，CnosDB使用CnoSQL查询语句对时序数据进行查询检索，并记录查询时间；步骤三：将查询语句编码为向量化数据；步骤四：对向量化数据提取数据分布特征；步骤五：使用PCA对数据分布特征进行降维；步骤六：利用向量化数据和降维后的数据分布特征作为输入，查询时间作为输出，训练梯度提升回归树模型；步骤七：利用训练好的梯度提升回归树模型进行查询时间预测。本申请在预测时间上，在上述实验中本模型都能在几十毫秒内给出预测结果，具有非常可观的响应速度。
-
公开(公告)号：CN114328669B
公开(公告)日：2023-05-16
申请号：CN202111662250.8
申请日：2021-12-30
申请人： 北京诺司时空科技有限公司 , 哈尔滨工业大学
IPC分类号： G06F16/2458 , G06F16/22 , G06F16/25 , G06N3/045 , G06N3/08
摘要： 基于深度学习的自动化时序数据库索引推荐方法、存储介质及设备，属于数据库技术领域。为了目前针对时序数据库还没有有效可行的自动化索引推荐方法的问题。本发明所述方法通过强化学习模型进行时序数据库的索引推荐，强化学习模型的代理负责决策的过程；代理与数据库的环境模型进行交互，环境模型计算代理因其决策而获得的状态转换和代价；DBMS接口负责执行数据库的创建、升级或删除动作并获取当前的索引配置的统计信息。本发明主要用于时序数据库的索引推荐。
-
公开(公告)号：CN114884515A
公开(公告)日：2022-08-09
申请号：CN202210372728.1
申请日：2022-04-11
申请人： 北京诺司时空科技有限公司 , 哈尔滨工业大学
摘要： 时序数据库中的自适应数据压缩系统、方法及设备，属于计算机技术领域。为了解决目前针对时序数据库的压缩算法存在的不能对数据进行针对性选择处理及无法同时兼顾轻量化要求的问题。本发明系统包括时序数据库插件和基于配置信息通过接口调用不同的压缩算法进行压缩的数据压缩子系统；其中，时序数据库插件为分类决策模型，分类决策模型包括特征提取单元和利用神经网络模型进行压缩算法自动选择的分类决策单元；数据压缩子系统包括将选出数据压缩算法反馈给用户并将压缩策略写入配置中心的压缩策略配置单元，以及创建新活动来执行数据压缩任务，并定期被唤醒来执行数据整理压缩任务的自适应数据压缩单元。主要用于时序数据库中数据的自适应压缩。
-
公开(公告)号：CN114665885A
公开(公告)日：2022-06-24
申请号：CN202210330862.5
申请日：2022-03-29
申请人： 北京诺司时空科技有限公司 , 哈尔滨工业大学
摘要： 一种时序数据库自适应数据压缩方法，涉及数据压缩领域。本发明是为了解决目前时序数据压缩方法还存在无法对时序数据的特征和模式自适应压缩以及压缩率低造成内存空间浪费的问题。本发明包括：获取时序数据中的时间戳和Field Value；获取待压缩的时间戳每个时间点的delta‑of‑delta值；根据每个时间点的delta‑of‑delta值进行压缩获得每个时间点的压缩结果；以时间戳每个时间点为间隔将Field Value分为Field Value数据段，利用时间戳时间点的delta‑of‑delta值对Field Value数据段划分，获得Field Value数据小段；将Field Value数据小段输入训练好的神经网络分类器中，获得Field Value数据小段压缩结果；将时间戳压缩结果和Field Value压缩结果存储到内存中，获得时间序列数据压缩结果。本发明用于时序数据的压缩。
-
-
-
-
-
-
-
-
-
搜索结果
28 条记录 (耗时 0.091 秒)
