一种面向多数据类型访问应用的分布式文件系统

    公开(公告)号:CN103942301B

    公开(公告)日:2017-02-15

    申请号:CN201410151975.4

    申请日:2014-04-16

    Abstract: 本发明公开了一种面向多数据类型访问应用的分布式文件系统,所述分布式文件系统的主结点中包含有多类元数据,其中:每类元数据包含有元数据哈希表和相应的元数据控制结构体,每类元数据对应相应的数据类型,所述数据类型是根据数据访问特性进行分类的;每类元数据控制结构体用于针对相应的数据类型进行分类管理;所述系统在接收到应用程序访问请求时,根据应用程序访问请求所需访问文件的类型确定相应类别的元数据控制结构体,将相应类别的元数据控制结构体的信息返回给应用程序,以使所述应用程序根据所述控制信息,在相应的数据存储结点中行相应的文件操作。本发明系统的数据检索速度成倍提高,系统负载能力显著提升,延展性好。

    一种GPU上基于内存统一管理的MapReduce实现方法

    公开(公告)号:CN103714009B

    公开(公告)日:2016-07-27

    申请号:CN201310710435.0

    申请日:2013-12-20

    Abstract: 本发明公开了一种GPU上基于内存统一管理的MapReduce实现方法,包括:初始化GPU的块大小为Bs,每个块中的线程数目N,输入数据量大小M;在全局内存上为GPU的每个块分配一个中间数据缓冲区,同时分配一个全局结果缓冲区;对p%的输入数据进行预处理,在中间数据缓冲区中收集map任务计算结果和归约频率信息;根据键值对的归约频率,对中间结果进行排序,保存键值对索引信息到排序结果缓冲区sort_index[]中;初始化GPU每个块对应的中间数据缓冲区为零,在共享内存中建立内存分配区sm_pool[];设置内存分配标记数组mem_flag[]。本发明在每个GPU块的中间数据缓冲区中,对全局内存和共享内存资源进行统一管理,减少了内存资源开销,避免了分开管理导致的键值对对重复查找和map任务重复计算开销。

    一种分布式环境下的文件快速读写方法

    公开(公告)号:CN103092927A

    公开(公告)日:2013-05-08

    申请号:CN201210590615.5

    申请日:2012-12-29

    Abstract: 本发明公开了一种分布式环境下的文件快速读方法,包括:客户节点向元数据节点发出读文件请求,客户节点判断其自身是否和分布式文件系统中该客户节点上一次读取文件所连接的数据节点保持着连接,若不是则元数据节点根据其索引区中的信息查询该文件是否存在于其数据区中,若不是则元数据节点根据其一级索引信息查询存有该文件的数据节点,客户节点与该数据节点建立连接,数据节点根据二级索引信息查找该文件所在的数据块,根据二级索引信息获取文件,并将该文件发送给客户节点,客户节点接收数据并保持与该数据节点的连接。本发明能够解决现有方法中存在的元数据节点占用内存大,以及大量文件写效率低下的问题。

    一种基于对等网络的高性能计算系统

    公开(公告)号:CN100547973C

    公开(公告)日:2009-10-07

    申请号:CN200710052269.4

    申请日:2007-05-23

    Abstract: 一种基于对等网络的高性能计算系统,包括监控节点,分派节点,计算节点,数据服务器和客户机。监控节点接收客户机提交的应用工程描述文件,管理并监控分派节点的状态以及各任务簇的完成状况;分派节点将任务分派给所属的各计算节点,监控各计算节点的状态以及任务的完成状况,并向监控节点报告;计算节点接收并计算所属分派节点分派的任务,报告任务完成状况,并与数据服务器进行数据交换;数据服务器存储备份应用工程的数据,处理客户机和计算节点的数据请求;客户机提交初始应用工程,管理主任务的启动运行,并得到应用的最终结果。本发明系统具有通用性好、跨平台、编程方便、容错性好和扩展性好的特点,可以克服原有的志愿机计算系统的缺点。

    一种局部特征的分布式并行提取方法

    公开(公告)号:CN103366173B

    公开(公告)日:2016-05-25

    申请号:CN201310289194.7

    申请日:2013-07-10

    Abstract: 本发明公开了一种局部特征的分布式并行提取方法,包括:利用图像爬虫软件下载图像到云环境中的各个计算节点,并建立图像数据库,图像数据库中存储了每张图像的ID与计算节点的ID之间的映射关系,并行地获取每个计算节点上存储的每张图像的像素值,并建立图像的ID与其像素大小之间的映射关系,根据云环境中每个计算节点存储的每张图像像素大小,获得云环境中每个计算节点上总像素值,根据云环境里每个计算节点总像素值、计算节点的个数、每个计算节点的网络状况,确定供应计算节点,供应计算节点应供应的图片和接收这些图片的计算节点。本发明能够解决现有方法中存在的局部特征提取过程中,各计算节点图像数量分配不准确和计算负载不均衡的问题。

    一种基于GPU的运动目标检测方法

    公开(公告)号:CN103020990B

    公开(公告)日:2015-09-09

    申请号:CN201210523613.4

    申请日:2012-12-06

    Abstract: 本发明公开了一种基于GPU的运动目标检测方法,包括:加载视频训练数据到GPU显存中,按照局部Z形块的方式对视频训练数据进行存储,提取视频训练数据的多特征数据,并采用自适应权值模型融合多特征数据,以建立基于多特征的码本模型,加载视频测试数据到GPU显存中,按照局部Z形块的方式对视频测试数据进行存储,利用基于多特征的码本模型对视频测试数据进行运动目标检测,利用运动目标检测的结果对基于多特征的码本模型进行更新,将运动目标的检测结果保存在CPU端。本发明具有高适用性、可扩展性强、高效率和低成本的特点,并使运动目标检测同时满足准确性和实时性的要求。

    一种多核环境下哈希表并发访问性能优化方法

    公开(公告)号:CN104536724A

    公开(公告)日:2015-04-22

    申请号:CN201410826142.3

    申请日:2014-12-25

    Abstract: 本发明公开了一种多核环境下哈希表并发访问性能优化方法,包括:针对哈希表高并发访问的并发连接处理,采用半同步半异步的网络连接处理机制;针对哈希表高并发访问的并发数据处理,将哈希表按CPU核心数划分成多个独立的子哈希表,每个工作线程和一个独立的子哈希表一一对应,每个工作线程只负责处理自己对应的子哈希表的数据;主线程根据每个数据的Key采用一致性哈希策略选择相应的工作线程处理;每个子哈希表维护一个LRU队列,当内存空间不足时,剔除冷数据,插入新的元素。本发明方法提高了并发连接处理能力和哈希表的并发访问能力,同时消除了解决多线程访问共享哈希表时的同步开销和cache一致性开销的问题。

    多特征融合的人脸图像搜索方法和系统

    公开(公告)号:CN102567483B

    公开(公告)日:2014-09-24

    申请号:CN201110430327.9

    申请日:2011-12-20

    Abstract: 本发明公开了一种多特征融合的人脸图像搜索方法,包括步骤:从互联网上获取图像以及图像周围的文本信息,并将图像和文本信息分别存入原始图像库以及文本库;过滤掉原始图像库中非人脸图像以及不规则的人脸图像,保留规则的人脸图像,并将人脸图像存入人脸图像库;对人脸图像库中的人脸图像提取底层特征;对底层特征降维并存入特征库;对底层特征建立特征索引,并将特征索引存入特征索引文件;对文本库中的文本信息建立文本索引,并将文本索引存入文本索引文件;接收用户提交的文本和图像;在文本索引文件中检索文本,根据文本的检索结果在特征索引文件中检索图像,并将图像的检索结果返回给用户。本发明具有检索精度高,可靠性高,效率快的特点。

    一种面向多数据类型访问应用的分布式文件系统

    公开(公告)号:CN103942301A

    公开(公告)日:2014-07-23

    申请号:CN201410151975.4

    申请日:2014-04-16

    CPC classification number: G06F17/30194

    Abstract: 本发明公开了一种面向多数据类型访问应用的分布式文件系统,所述分布式文件系统的主结点中包含有多类元数据,其中:每类元数据包含有元数据哈希表和相应的元数据控制结构体,每类元数据对应相应的数据类型,所述数据类型是根据数据访问特性进行分类的;每类元数据控制结构体用于针对相应的数据类型进行分类管理;所述系统在接收到应用程序访问请求时,根据应用程序访问请求所需访问文件的类型确定相应类别的元数据控制结构体,将相应类别的元数据控制结构体的信息返回给应用程序,以使所述应用程序根据所述控制信息,在相应的数据存储结点中行相应的文件操作。本发明系统的数据检索速度成倍提高,系统负载能力显著提升,延展性好。

    融合分类与全局索引的图像检索方法和图像检索系统

    公开(公告)号:CN102521366B

    公开(公告)日:2013-06-26

    申请号:CN201110423143.X

    申请日:2011-12-16

    Abstract: 本发明公开了一种融合分类与全局索引的图像检索系统,包括:下载模块、分类模型训练模块、图像分类模块、特征提取模块、记录表建立模块、索引模块、请求处理模块、检索模块、相似度获取模块、结果返回模块,下载模块用于下载图片以建立图片库,分类模型训练模块首先对图片库中的图片按照形状进行分类,对于每个分类,从图片库中挑选出具有代表性的样本图片,形成样本库。然后提取样本库中所有图片的分类底层特征描述符,并在底层特征描述符上利用支持向量机进行训练,以得到每个分类的判别式,并且所有分类的判别式形成分类模型。本发明提高了检索系统的查准率,弥补了分类错误时的查全率低下的问题,整体提高了系统的检索速度。

Patent Agency Ranking