-
公开(公告)号:CN118466857B
公开(公告)日:2024-11-15
申请号:CN202410924390.5
申请日:2024-07-11
Applicant: 航天宏图信息技术股份有限公司
Abstract: 本发明提供了一种大尺寸数据写入方法、装置、设备及介质,包括:初始化数据写入事务,以在目标数据库中申请连续内存缓冲区,并为连续内存缓冲区添加目标标记,数据写入事务用于保证将至少一条待处理数据写入至磁盘的物理页面流程中的数据完整性和一致性,目标标记用于使连续内存缓冲区被数据写入事务独占使用;按照连续内存缓冲区的运行机制,将各待处理数据连续且正序地缓存至连续内存缓冲区内,以及将连续内存缓冲区内缓存的数据写入至磁盘的物理页面;在待处理数据写入完毕之后,针对连续内存缓冲区执行清理操作,以及针对目标标记执行删除操作。本发明可以有效降低申请Buffer的时间消耗,同时能够有效地减少磁盘寻址时间。
-
公开(公告)号:CN118466857A
公开(公告)日:2024-08-09
申请号:CN202410924390.5
申请日:2024-07-11
Applicant: 航天宏图信息技术股份有限公司
Abstract: 本发明提供了一种大尺寸数据写入方法、装置、设备及介质,包括:初始化数据写入事务,以在目标数据库中申请连续内存缓冲区,并为连续内存缓冲区添加目标标记,数据写入事务用于保证将至少一条待处理数据写入至磁盘的物理页面流程中的数据完整性和一致性,目标标记用于使连续内存缓冲区被数据写入事务独占使用;按照连续内存缓冲区的运行机制,将各待处理数据连续且正序地缓存至连续内存缓冲区内,以及将连续内存缓冲区内缓存的数据写入至磁盘的物理页面;在待处理数据写入完毕之后,针对连续内存缓冲区执行清理操作,以及针对目标标记执行删除操作。本发明可以有效降低申请Buffer的时间消耗,同时能够有效地减少磁盘寻址时间。
-
公开(公告)号:CN116594748A
公开(公告)日:2023-08-15
申请号:CN202310572668.2
申请日:2023-05-19
Applicant: 航天宏图信息技术股份有限公司
IPC: G06F9/48 , G06F9/50 , G06N3/0464 , G06N3/0442 , G06N3/084 , G06N3/082 , G06N3/096
Abstract: 本申请提供了一种针对任务的模型定制处理方法、装置、设备和介质,涉及任务处理技术领域,该方法包括:基于预先构建的意图理解集成模型将待处理任务分解为多个子任务,并基于不同子任务之间的关联性进行时序编码,确定子任务的执行顺序;针对每个子任务,根据模型粒度在模型库中搜索匹配相应的子任务模型;响应针对子任务模型的调参请求,对子任务模型进行定制处理,得到针对待处理任务的定制模型,以通过定制模型按照子任务的执行顺序对待处理任务进行处理。本申请在处理任务体量大、任务种类多的情况下,降低任务处理复杂度、简化神经网络参数,降低训练样本需求量,提升任务处理的效率同时降低计算时的内存消耗,提升了任务处理的准确性。
-
公开(公告)号:CN116594748B
公开(公告)日:2024-09-03
申请号:CN202310572668.2
申请日:2023-05-19
Applicant: 航天宏图信息技术股份有限公司
IPC: G06F9/48 , G06F9/50 , G06N3/0464 , G06N3/0442 , G06N3/084 , G06N3/082 , G06N3/096
Abstract: 本申请提供了一种针对任务的模型定制处理方法、装置、设备和介质,涉及任务处理技术领域,该方法包括:基于预先构建的意图理解集成模型将待处理任务分解为多个子任务,并基于不同子任务之间的关联性进行时序编码,确定子任务的执行顺序;针对每个子任务,根据模型粒度在模型库中搜索匹配相应的子任务模型;响应针对子任务模型的调参请求,对子任务模型进行定制处理,得到针对待处理任务的定制模型,以通过定制模型按照子任务的执行顺序对待处理任务进行处理。本申请在处理任务体量大、任务种类多的情况下,降低任务处理复杂度、简化神经网络参数,降低训练样本需求量,提升任务处理的效率同时降低计算时的内存消耗,提升了任务处理的准确性。
-
-
-