-
公开(公告)号:CN111199777B
公开(公告)日:2023-09-29
申请号:CN201911347153.2
申请日:2019-12-24
Applicant: 西安交通大学
IPC: G16B50/00
Abstract: 面向生物大数据的流式传输与变异实时挖掘系统及方法,传输层读取数据层中的测序数据文件,通过生物数据流式传输算法生成测序数据流,再将测序数据流,发送给计算层;计算层接收来自传输层的实时测序读段数据,根据基于Map Reduce的删除变异实时挖掘算法,实时计算该局部测序区域是否存在删除变异并输出删除变异的左右端点,并将删除变异的左右端点传输给用户层。通过基于Map Reduce的删除变异实时挖掘算法,根据实时接收到的局部测序数据流,即可实时判断局部区域是否存在删除变异,而不需要整个基因组中的上下文信息,实现了对测序数据的解耦,降低了传统测序数据处理算法对计算资源的高要求和高依赖。
-
公开(公告)号:CN107786388A
公开(公告)日:2018-03-09
申请号:CN201710880542.6
申请日:2017-09-26
Applicant: 西安交通大学
Abstract: 本发明提供一种基于大规模网络流数据的异常检测系统,通过对输入的网络流数据进行采样和实时的三角形数目估计,检测当前网络中的某个点或某些点是否存在异常连接,包括数据预处理,网络流数据采样,网络建模及三角形数目估计和异常检测这五个子系统;在给定的网络流提取出有用的信息;利用PartitionCT算法对流数据进行等概率采样,建立相应的网络模型,并实时的估计全局或局部三角形数量;利用该结果对网络中是否存在异常进行判别;本发明可用于网络流采样;可用于估计网络流图中不同边的数目;也可用于动态估计网络中三角形数目并估计网络密度;还可以根据估计出的全局或局部三角形数目,进行网络或单个节点的异常检测等。
-
公开(公告)号:CN111199777A
公开(公告)日:2020-05-26
申请号:CN201911347153.2
申请日:2019-12-24
Applicant: 西安交通大学
IPC: G16B50/00
Abstract: 面向生物大数据的流式传输与变异实时挖掘系统及方法,传输层读取数据层中的测序数据文件,通过生物数据流式传输算法生成测序数据流,再将测序数据流,发送给计算层;计算层接收来自传输层的实时测序读段数据,根据基于Map Reduce的删除变异实时挖掘算法,实时计算该局部测序区域是否存在删除变异并输出删除变异的左右端点,并将删除变异的左右端点传输给用户层。通过基于Map Reduce的删除变异实时挖掘算法,根据实时接收到的局部测序数据流,即可实时判断局部区域是否存在删除变异,而不需要整个基因组中的上下文信息,实现了对测序数据的解耦,降低了传统测序数据处理算法对计算资源的高要求和高依赖。
-
公开(公告)号:CN107786388B
公开(公告)日:2020-02-14
申请号:CN201710880542.6
申请日:2017-09-26
Applicant: 西安交通大学
Abstract: 本发明提供一种基于大规模网络流数据的异常检测系统,通过对输入的网络流数据进行采样和实时的三角形数目估计,检测当前网络中的某个点或某些点是否存在异常连接,包括数据预处理,网络流数据采样,网络建模及三角形数目估计和异常检测这四个子系统;在给定的网络流提取出有用的信息;利用PartitionCT算法对流数据进行等概率采样,建立相应的网络模型,并实时的估计全局或局部三角形数量;利用该结果对网络中是否存在异常进行判别;本发明可用于网络流采样;可用于估计网络流图中不同边的数目;也可用于动态估计网络中三角形数目并估计网络密度;还可以根据估计出的全局或局部三角形数目,进行网络或单个节点的异常检测等。
-
-
-