流式计算的增量持久化方法及其装置

    公开(公告)号:CN111211993A

    公开(公告)日:2020-05-29

    申请号:CN201811388343.4

    申请日:2018-11-21

    Inventor: 程怡 石然 高伟康

    Abstract: 本发明提出一种流式计算的增量持久化方法及其装置、计算机程序产品、存储介质。其中,流式计算由多个节点进行,方法包括:获取当前节点的新增数据,并将新增数据根据操作类型分为多个数据单元,将多个数据单元存入存储系统。根据操作类型对存入存储系统的多个数据单元进行合并,以获得当前节点的持久化数据。由此,本发明实施例实现了在将数据存入存储系统后,将合并后的存储数据作为持久化数据,从而减少了存储系统中持久化数据的数据总量,降低了对系统存储资源的消耗,解决了现有技术中持久化数据总量过大的技术问题。

    多数据流的数据拼接方法、装置、电子设备和存储介质

    公开(公告)号:CN113127511A

    公开(公告)日:2021-07-16

    申请号:CN202010043160.X

    申请日:2020-01-15

    Inventor: 程怡 石然 朱小力

    Abstract: 本申请公开了一种多数据流的数据拼接方法、装置、电子设备和存储介质,涉及大数据处理技术领域。具体实现方案为:当多数据流中第一数据流的第一数据到达时,确定第一数据流是否是指定的拼接触发数据流;其中,多数据流中的部分数据流被预先指定为拼接触发数据流;在确定第一数据流是指定的拼接触发数据流时,从缓存的第二数据流的数据中查找与第一数据匹配的第二数据,以将第一数据与第二数据进行拼接。由此通过预先指定部分数据流为拼接触发数据流,只有拼接触发数据流的某一数据到来时,才会从第二数据流中查询与之匹配的数据,以完成数据拼接,由此能够有效减少数据查询次数,进而降低资源开销,同时也降低了实现数据拼接的复杂度。

    一种用于为用户登录提供验证的方法和装置

    公开(公告)号:CN104994060B

    公开(公告)日:2019-03-19

    申请号:CN201510251388.7

    申请日:2015-05-15

    Abstract: 本发明的目的是提供一种用于为用户登录提供验证的方法和装置;为用户登录提供第一验证;基于所述用户登录的登录属性,判断是否需要为所述用户登录提供第二验证;若需要,为所述用户登录提供所述第二验证,否则不提供。与现有技术相比,本发明为用户登录提供第一验证;基于所述用户登录的登录属性,判断是否需要为所述用户登录提供第二验证;若需要,为所述用户登录提供所述第二验证,否则不提供;通过基于判断机制的双层保护,保证了用户账号的安全,提升了用户的使用体验。

    一种用于确定流量类型的方法和装置

    公开(公告)号:CN105119735B

    公开(公告)日:2018-07-06

    申请号:CN201510417436.5

    申请日:2015-07-15

    Abstract: 本发明提供了一种用于识别流量类型的方法和装置,其中,该方法包括以下步骤:基于业务相关维度,对日志进行分析以确定流量识别规则;基于所述流量识别规则,确定流量的分值;基于所述分值及阈值,确定所述流量的类型。与现有技术相比,本发明能够基于业务相关维度,通过对日志进行分析来确定流量识别规则,并基于流量识别规则来实时地确定新到流量的分值,从而基于该分值及阈值来确定该流量的类型。本发明的方案能够有效识别流量类型,有利于服务器端正确处理不同类型的流量,以减少由于流量冲击等所导致的影响,提高用户体验。

    基于单点登录协议进行访问权限控制的方法和装置

    公开(公告)号:CN106452774A

    公开(公告)日:2017-02-22

    申请号:CN201510484297.8

    申请日:2015-08-07

    Abstract: 本发明实施例公开了一种基于单点登录协议进行访问权限控制的方法和装置。所述方法包括:从用户的客户端接收已登录第一业务系统的用户访问与第一业务系统相关联的第二业务系统的验证请求;基于预先设置的用于控制访问所述第二业务系统的授权规则对所述访问请求进行授权验证,所述授权规则包括至少一个用户特征及其设定控制条件的授权数据项;向所述用户的客户端发送包括所述授权验证的结果的验证响应。采用本发明实施例,可在支持单点登录方式的基础上,还根据按照业务系统的需要配置的授权规则对用户对关联的业务系统的访问进一步进行授权,针对性地对访问用户进行授权,提高业务系统的使用率。

    一种账号验证的方法和装置

    公开(公告)号:CN105516153A

    公开(公告)日:2016-04-20

    申请号:CN201510937942.7

    申请日:2015-12-15

    Inventor: 陈勇 程怡 陈亮

    CPC classification number: H04L63/0815

    Abstract: 本发明提供了一种账号验证的方法和装置,其中方法包括:第一服务端设备的账号信息预先被导入第二服务端设备;代理服务器从用户端设备接收针对第一服务端设备的页面访问请求;若所述页面访问请求指示用户未登录,则将所述页面访问请求重定向至所述第二服务端设备提供的登录页面;从用户端设备获取用户在所述登录页面上输入的账号信息,并转发该账号信息至所述第二服务端设备,以便所述第二服务端设备利用已导入的账号信息对接收到的账号信息进行验证。通过本发明提供的方式能够将针对第一服务端设备的页面登录服务迁移至第二服务端设备完成,并且不会影响到用户从第一服务端设备正常获取服务。

    流式计算的增量持久化方法、装置及存储介质

    公开(公告)号:CN111211993B

    公开(公告)日:2023-08-11

    申请号:CN201811388343.4

    申请日:2018-11-21

    Inventor: 程怡 石然 高伟康

    Abstract: 本发明提出一种流式计算的增量持久化方法及其装置、计算机程序产品、存储介质。其中,流式计算由多个节点进行,方法包括:获取当前节点的新增数据,并将新增数据根据操作类型分为多个数据单元,将多个数据单元存入存储系统。根据操作类型对存入存储系统的多个数据单元进行合并,以获得当前节点的持久化数据。由此,本发明实施例实现了在将数据存入存储系统后,将合并后的存储数据作为持久化数据,从而减少了存储系统中持久化数据的数据总量,降低了对系统存储资源的消耗,解决了现有技术中持久化数据总量过大的技术问题。

    数据流拼接的方法、装置、存储介质和终端设备

    公开(公告)号:CN111083067B

    公开(公告)日:2023-04-25

    申请号:CN201811222706.7

    申请日:2018-10-19

    Abstract: 本发明提出一种数据流拼接的方法、装置、存储介质和终端设备,其中,所述方法包括:获取所述订阅后端已接收的来自传输服务器的数据流中的各订阅数据的第一数据产生时间;获取所述数据流中的、所述传输服务器已接收但所述订阅后端尚未接收到的各订阅数据的第二数据产生时间;根据获取到的第一数据产生时间和第二数据产生时间,确定所述数据流的时间戳;以及根据所述数据流的时间戳,决定是否触发所述数据流的数据拼接。采用本发明,可以准确地判断数据延迟,提高数据流拼接的准确度。

Patent Agency Ranking