一种基因测序数据质量分数的并行压缩方法

    公开(公告)号:CN110349635A

    公开(公告)日:2019-10-18

    申请号:CN201910499892.7

    申请日:2019-06-11

    Abstract: 本发明公开了一种基因测序数据质量分数的并行压缩方法,包括步骤:1)对FASTQ格式文件数据进行划分,获得质量分数部分的数据;2)以行为单位,计算每一行质量分数的得分,并根据得分对这一行数据进行分类;3)当一个分类中质量分数数量达到阈值,或者这个分类无更多的质量分数加入时,将这个分类中的质量分数作为一个数据块放入计算缓冲队列中,并清空这个分类中的数据;4)由一个空闲的计算单元取走计算缓冲队列中的一个数据块,进行变换,使用向量化优化的ZPAQ进行编码,完成后放入输出缓冲队列中;5)由输出处理单元处理的压缩数据输出,直到完成所有压缩数据的输出,然后加入维护信息。本发明的技术方案具有性能高、扩展性强的特点。

    面向移动广告用户的手机游戏推荐方法

    公开(公告)号:CN106055566B

    公开(公告)日:2019-06-18

    申请号:CN201610333697.3

    申请日:2016-05-19

    Abstract: 本发明公开了一种面向移动广告用户的手机游戏推荐方法,手机用户在使用手机应用的时候,经常会点击一些手机应用推送的广告。手机用户的广告点击行为从某种程度上反映了手机用户的兴趣偏好。通过对广告介绍文档进行实体提取,根据手机用户的广告点击记录,构造出手机用户偏爱的广告实体集合。针对移动广告用户中具有游戏记录的用户,进一步提取用户偏爱的游戏实体集合、游戏集合,和广告实体集合共同刻画用户的兴趣偏好。针对具有游戏记录的移动广告用户,通过对用户模型进行余弦相似度计算,构建近邻用户集合,进行个性化推荐;针对没有游戏记录的移动广告用户,计算这些用户与具有游戏记录的广告用户的余弦相似度,构建近邻用户集合,从而进行个性化推荐。

    一种基于重做日志的分布式商品信息爬虫方法

    公开(公告)号:CN106126648B

    公开(公告)日:2019-04-09

    申请号:CN201610472048.1

    申请日:2016-06-23

    Abstract: 本发明公开了一种基于重做日志的分布式商品信息爬虫方法,包括:从数据库中读取配置来生成爬虫任务,定义三种爬虫的重做日志记录格式,执行商品搜索爬虫,在电商网站的搜索结果页中提取商品列表并生成商品信息任务和商品评论任务;把商品信息任务和商品评论任务再分配到各个服务器上,执行商品信息爬虫采集并保存商品的各种属性数据,执行商品评论爬虫采集并保存商品的评论数据;重做日志会记录采集失败的任务和状态;定时从重做日志中取出日志,反序列化为爬虫任务进行重新爬取。本发明的基于重做日志的分布式商品信息爬虫方法,能够针对电商网站的商品数据和评论数据的爬取,有效地提高数据采集的效率和完善性。

    一种不封闭交通的公路桥面图像获取方法

    公开(公告)号:CN104992406B

    公开(公告)日:2018-04-13

    申请号:CN201510332329.2

    申请日:2015-06-16

    Abstract: 本发明公开了一种不封闭交通的公路桥面图像获取方法,首先,使用定点摄像机按照设定的角度和焦距,来回扫描公路桥面获得图像;其次,通过对获得的图像进行识别和装拼,获得桥面各段不含车辆信息的图像;接着对各段桥面图像做畸变矫正,然后把各段桥面的图像重新拼接,最终形成完整的公路桥面图像。与传统的人工获取公路桥面破损信息方式相比,本发明提供了一种无封闭交通,非接触式快捷高效获取公路桥面病害信息方式,将为实现无需封闭交通而能对桥面进行质量检测,打下关键技术基础。与多功能路面信息采集车相比,本发明有着设备要求低且成本低廉的优势。

    一种多领域非协作分布式检索结果融合系统及其融合方法

    公开(公告)号:CN106897736A

    公开(公告)日:2017-06-27

    申请号:CN201710041178.4

    申请日:2017-01-17

    Abstract: 本发明公开了一种多领域非协作分布式检索结果融合系统及其融合方法,该系统包括:数据处理模块,用于存储系统所需的语料数据和缓存数据,对外提供接口与其他模块交互;特征提取模块,用于从训练语料或者检索结果中提取多领域特征;模型训练模块,用于训练模型,包括模型初始化和模型学习;中央处理模块,负责分布式检索结果融合的流程处理,与其他模块进行交互,是系统核心逻辑的执行部分;相关性评分模块,用于对查询结果进行全局的相关性评分。本发明能解决非协作环境下不同检索结果因检索模型差异而无法直接比较的问题及启发式方法调参麻烦的问题。

    一种结合负载均衡的工作流回填方法

    公开(公告)号:CN106874112A

    公开(公告)日:2017-06-20

    申请号:CN201710034431.3

    申请日:2017-01-17

    Abstract: 本发明公开了一种结合负载均衡的工作流回填方法,首先,依据计算任务特性,对任务进行划分,可分为CPU资源消耗型或者IO资源消耗型;然后对回填策略进行改进,使回填调度策略以工作流为单位;最后是回填任务的投递,即回填策略在任务选择上的改进,回填的任务选择需要匹配主机负载和任务特性,负载高主机选择IO消耗型,负载低则选择CPU消耗型。本发明方法能够有效地调度任务流,减少任务流的执行时间,同时还能够实现高性能计算系统众多节点的负载均衡。

    一种云数据中心的虚拟机CPU使用率的分析建模方法

    公开(公告)号:CN104090813B

    公开(公告)日:2017-04-05

    申请号:CN201410294872.3

    申请日:2014-06-26

    CPC classification number: Y02D10/26 Y02D10/28

    Abstract: 本发明公开了一种云数据中心的虚拟机CPU使用率的分析建模方法,包括以下步骤:1)分析模块构建,主要提出单台虚拟机CPU使用率概率分布的分析方法,以及云数据中心中所有虚拟机CPU使用率期望值概率分布的分析方法;2)建模模块构建,主要利用分析模块对实际环境下虚拟CPU使用率任务日志进行了分析,分析单台虚拟CPU使用率的概率分布情况,以及云数据中心所有虚拟机CPU使用率期望值的分布情况,最后利用分析结果之间的关联性进行任务建模;3)通过步骤1)和2),即可构建出能够产生实际环境下单台虚拟机CPU使用率的分布,而重复步骤2)即可获取多个虚拟机CPU使用率的分布。本发明可以用于更好地分析云计算中针对能耗的虚拟机融合的优缺点。

    面向生物基因测序计算任务的多队列回填作业调度方法

    公开(公告)号:CN105718312A

    公开(公告)日:2016-06-29

    申请号:CN201610037738.4

    申请日:2016-01-20

    CPC classification number: G06F9/4881 G06F9/5088

    Abstract: 本发明公开了一种面向生物基因测序计算任务的多队列回填作业调度方法。针对生物基因测序计算任务的作业负载特性,对现有高性能计算系统作业调度技术的缺点与不足进行了改进,提出一个多对列回填作业调度方法。该方法提供了基于内存资源优化的回填调度,结合内存资源的需求进行作业预约与作业回填,充分利用系统的空闲资源,减少作业等待。在此基础上,提供了多对列负载均衡调度,以多对列的方式进行回填调度并且提供了队列级别的负载均衡,并且提出了动态选择阈值策略与优化迁移策略。多队列回填作业调度能够很好的适用于生物信息高性能计算系统,获得良好的系统性能。

    一种在虚拟化数据中心内的计算任务及虚拟机部署方法

    公开(公告)号:CN102981890B

    公开(公告)日:2015-10-28

    申请号:CN201210506689.6

    申请日:2012-11-30

    Abstract: 本发明公开了一种在虚拟化数据中心内的计算任务及虚拟机部署方法,在允许物理资源及虚拟资源所提供的服务能力以一定比例适当超出其实际所能提供的服务能力的前提下,优化计算任务的QoS需求以及提高数据中心的资源利用率。本发明的步骤包括三个阶段,将计算任务划分为同构计算任务;对同构计算任务的虚拟资源请求进行建模,按需分配虚拟机;根据上一步骤所需部署的虚拟机的物理资源请求进行建模,按需开启物理主机。本发明可应用于具有不同特征的计算任务,适用于不同类型的数据中心场景,并且在满足QoS需求及提高资源利用率之间存在一个合理的资源服务能力偏转比例临界值。

    一种不封闭交通的公路桥面图像获取方法

    公开(公告)号:CN104992406A

    公开(公告)日:2015-10-21

    申请号:CN201510332329.2

    申请日:2015-06-16

    CPC classification number: G06T3/4038

    Abstract: 本发明公开了一种不封闭交通的公路桥面图像获取方法,首先,使用定点摄像机按照设定的角度和焦距,来回扫描公路桥面获得图像;其次,通过对获得的图像进行识别和装拼,获得桥面各段不含车辆信息的图像;接着对各段桥面图像做畸变矫正,然后把各段桥面的图像重新拼接,最终形成完整的公路桥面图像。与传统的人工获取公路桥面破损信息方式相比,本发明提供了一种无封闭交通,非接触式快捷高效获取公路桥面病害信息方式,将为实现无需封闭交通而能对桥面进行质量检测,打下关键技术基础。与多功能路面信息采集车相比,本发明有着设备要求低且成本低廉的优势。

Patent Agency Ranking