数据传输方法及装置、存储介质及电子设备

    公开(公告)号:CN119232660A

    公开(公告)日:2024-12-31

    申请号:CN202411322862.6

    申请日:2024-09-20

    Abstract: 本公开提供了一种数据传输方法及装置、存储介质及电子设备,涉及物联网技术领域。该方法包括:对多个节点的数据包进行缓存合并,确定传输消息;通过第一传输路径向目标接收端发送所述传输消息,预测所述第一传输路径的拥塞状态;根据预测的所述第一传输路径的拥塞状态,确定是否将所述传输消息通过第二传输路径发送至所述目标接收端。通过对多个节点的数据包进行缓存合并生成单条传输消息,可以显著减少网络中传输的数据包数量,提高数据传输效率;对第一传输路径进行拥塞预测,在第一传输路径拥塞之前就提前规划出第二传输路径,当第一传输路径拥塞时,切换至第二传输路径,减少了发生拥塞后重新配置网络拓扑需要的时间。

    RDMA缺页异常处理方法、装置、电子设备及存储介质

    公开(公告)号:CN117806866A

    公开(公告)日:2024-04-02

    申请号:CN202311826141.4

    申请日:2023-12-27

    Abstract: 本公开提供了一种RDMA缺页异常处理方法、装置、电子设备及存储介质,涉及云计算技术领域。该方法包括:接收第二设备发送的RDMA数据包;基于RDMA数据包,确定是否发生RDMA缺页异常;若确定发生RDMA缺页异常,发送显示重传请求;其中,显示重传请求用于告知第二设备重新传输缺页数据,以使第二设备基于显示重传请求重新传输缺页数据块;接收第二设备主动重传的缺页数据块,基于缺页数据块进行页面换入。本公开能够无需引入额外的备份计算节点或者锁定部分缓冲区备用,不会限制主机内存利用率,也不需要消耗过多的系统资源。

    I/O请求调度方法、装置、电子设备及存储介质

    公开(公告)号:CN115437794B

    公开(公告)日:2024-11-05

    申请号:CN202211223430.0

    申请日:2022-10-08

    Abstract: 本公开提供了一种I/O请求调度方法、装置、电子设备及存储介质,涉及计算机技术领域。该方法包括:获取多个待调度I/O请求及对应的数据量;获取多个参考缓存节点的可用缓存容量;基于最小化调度成本的动态规划,生成数据量和可用缓存容量对应的目标调度策略;根据目标调度策略,向多个参考缓存节点中调度多个待调度I/O请求。此种方式,考虑了代表参考缓存节点的状态的可用缓存容量,以及代表待调度I/O请求的状态的数据量,使得生成的目标调度策略可以适应参考缓存节点所在缓冲区的动态变化。基于最小化调度成本的动态规划生成的目标调度策略,可以提高缓冲区系统的运行效率及缓冲资源的利用率。

    数据处理方法和数据处理装置

    公开(公告)号:CN112948432A

    公开(公告)日:2021-06-11

    申请号:CN201911262422.5

    申请日:2019-12-11

    Abstract: 本公开提供了一种数据处理方法和数据处理装置。数据处理方法包括:数据采集端采集流式数据文件,并获得流式数据文件的文件路径,根据该文件路径以及文件路径与数据类型的对应关系获得流式数据文件的数据类型,进而获得该流式数据文件的资源优先级;数据采集端根据该流式数据文件的资源优先级生成哈夫曼编码,并将流式数据文件和对应的哈夫曼编码传输到传输管道层;传输管道层对流式数据文件进行缓存,根据流式数据文件的哈夫曼编码获得该流式数据文件的资源优先级,并根据该资源优先级将该流式数据文件传输到数据输出端;以及数据输出端将该流式数据文件传输到外部设备。本公开提高了数据的处理效率和灵活性。

    I/O请求调度方法、装置、电子设备及存储介质

    公开(公告)号:CN115437794A

    公开(公告)日:2022-12-06

    申请号:CN202211223430.0

    申请日:2022-10-08

    Abstract: 本公开提供了一种I/O请求调度方法、装置、电子设备及存储介质,涉及计算机技术领域。该方法包括:获取多个待调度I/O请求及对应的数据量;获取多个参考缓存节点的可用缓存容量;基于最小化调度成本的动态规划,生成数据量和可用缓存容量对应的目标调度策略;根据目标调度策略,向多个参考缓存节点中调度多个待调度I/O请求。此种方式,考虑了代表参考缓存节点的状态的可用缓存容量,以及代表待调度I/O请求的状态的数据量,使得生成的目标调度策略可以适应参考缓存节点所在缓冲区的动态变化。基于最小化调度成本的动态规划生成的目标调度策略,可以提高缓冲区系统的运行效率及缓冲资源的利用率。

    数据纠偏方法、装置和计算机可读存储介质

    公开(公告)号:CN113360484A

    公开(公告)日:2021-09-07

    申请号:CN202010145446.9

    申请日:2020-03-05

    Abstract: 本发明公开了一种数据纠偏方法、装置和计算机可读存储介质,涉及数据处理领域。数据纠偏方法包括:将从深度包检测DPI数据中获取的待纠偏数据对应的时间之前的多条数据输入到特征提取网络中,获得特征提取网络输出的、多条数据的核心特征;按照多条数据的对应时间顺序,构建多条数据的核心特征序列;将核心特征序列输入到预先训练的基于长短期记忆网络的生成器中,生成预测的数据;采用预测的数据替换待纠偏数据。本发明实现了利用DPI数据的时序信息进行预测的方案。这种预测方式更符合DPI数据的特点,从而提高了DPI数据纠偏的有效性、以及纠偏后数据的准确性。

Patent Agency Ranking