一种多标签图像的二值向量生成方法及图像语义相似度查询方法

    公开(公告)号:CN108446307A

    公开(公告)日:2018-08-24

    申请号:CN201810111604.1

    申请日:2018-02-05

    CPC classification number: G06F16/951 G06F16/583 G06N3/0454

    Abstract: 本发明公开了一种多标签图像的二值向量生成方法及图像语义相似度查询方法。本发明利用训练数据集对卷积神经网络模型进行训练,直至该卷积神经网络模型的损失值趋于稳定;然后利用训练后的卷积神经网络模型对图像数据库中的图片进行计算,得到每张图片的二值向量并进行存储;利用训练后的卷积神经网络模型计算待查询图片的二值向量,并将其与存储的二值向量进行相似度计算,根据相似度计算结果返回与该待查询图片最相似的若干图片。本发明大大提高了图像的存储效率和查询效率;而且可以根据与查询图片的多级语义相似度对目标图片进行排序。

    一种预链接机制下的动态链接库完整性度量方法

    公开(公告)号:CN104751048B

    公开(公告)日:2017-12-15

    申请号:CN201510046876.4

    申请日:2015-01-29

    Abstract: 本发明公开了一种预链接机制下的动态链接库完整性度量方法。本发明为:1)关闭Linux的完整性度量使能开关,进入完整性维护模式并提取所需度量的文件;2)检测度量文件是否属于动态链接库文件;如果是,则提取该动态链接库文件中代码段在文件中的偏移位置和长度发送给度量函数计算基准度量值并保存;3)进入完整性验证模式;当系统加载的文件为需度量文件时,检测其是否属于动态链接库文件;如果是,则提取该动态链接库文件中代码段在文件中的偏移位置和长度发送给度量函数计算度量值并与对应基准度量值进行比较,如果匹配,则允许加载执行,否则拒绝。本发明不需要关闭prelink工具即可对动态链接库进行完整性度量。

    一种基于用户行为分析的Hadoop集群作业调度方法及装置

    公开(公告)号:CN104156505B

    公开(公告)日:2017-12-15

    申请号:CN201410350690.3

    申请日:2014-07-22

    Abstract: 本发明涉及一种基于用户行为分析的Hadoop集群作业调度方法及装置,包括以下步骤:收集Hadoop集群产生的日志文件,根据日志文件创建日志数据表,将日志数据表存储于数据库中,并定时将存储于数据库中的日志数据表转存到Hive集群中;根据存储于Hive集群中的日志数据表,得到每个资源组在任一时间区间内提交作业的作业数量及各资源组提交作业的作业类型;根据每个资源组提交作业的作业类型和作业数量,确定各资源组的最小资源占用限额;在资源组提交作业后,根据该资源组对应的最小资源占用限额调度大于等于最小资源占用限额的资源进行处理提交的作业。本发明能够为作业级的调度提供准确和真实的依据。

    大规模社交网络社区的检测方法及装置

    公开(公告)号:CN103942308B

    公开(公告)日:2017-04-05

    申请号:CN201410158112.X

    申请日:2014-04-18

    Abstract: 本发明涉及一种大规模社交网络社区的检测方法及装置。方法包括:将输入的大规模社交网络建模成图G=(V,E);通过并行排序算法将图G上的所有节点依节点度的大小关系作降序排列,并计算图G上所有节点的有效度之和DSum;以DSum/P为等分基准参考值,依负载均衡法将图G等分为P个子图;将P个子图通过MapReduce并行计算模型遍历寻找图G上的三角形,基于三角形拓扑结构对图G进行并行化多层粗化,获得最简粗化归约图G’;采用基于遗传学的社区发现算法,对最简粗化归约图G’做初始社区发现,生成社区发现结果;将社区发现结果逐层反粗化还原到图G并伴随作微调优处理,获得图G的社区结构。本发明能够精准而高效地实现大规模社交网络的社区发现和数据分析。

    一种用于大数据处理的计算系统及计算方法

    公开(公告)号:CN103488775B

    公开(公告)日:2016-08-10

    申请号:CN201310455174.2

    申请日:2013-09-29

    Abstract: 本发明涉及一种用于大数据处理的计算系统及方法,所述系统从下至上依次包括最底层模块、中间层模块和最高层模块,且中间层模块又包括消息传输模块和计算模型模块;最底层模块采用Hadoop分布式文件系统,用于存储数据;消息传输模块用于实现在不同计算节点运行的计算模型模块之间传递消息;在不同计算节点运行的计算模型模块根据所述消息传输模块传递的消息实现协同工作,并各自构建特定类型的计算模型来处理数据;最高层模块用于为计算模型提供编程接口,并以串行的方式组合不同计算模型表达的计算,同时设置不同计算模型之间基于内存流水线方式共享数据。本发明允许在一个系统内采用多种计算模型编写应用程序,能解决更复杂的问题。

    基于时间滑动窗口的数据流点连接查询方法

    公开(公告)号:CN103309966B

    公开(公告)日:2016-02-24

    申请号:CN201310219213.9

    申请日:2013-06-04

    Abstract: 本发明涉及基于时间滑动窗口的数据流点连接查询方法,该方法将一定时间内到来的数据流的元组存入缓冲区,进而对缓冲区内的元组批量与其要连接的时间滑动窗口内的元组进行连接,将完成连接的元组批量删除,将未完成连接的元组批量插入到其对应的时间滑动窗口中;从而大大减少了对时间滑动窗口加锁和解锁操作次数;将缓冲区未完成连接的元组插入到其对应的时间滑动窗口时用顺序存储链表存储元组在时间滑动窗口中的位置,顺序存储链表的头结点中存储该缓冲区的开辟时间,避免查找时间滑动窗口中过期数据时对整个时间窗口进行遍历,只需对顺序存储链表头结点进行遍历,即可找到时间滑动窗口中一批过期元组,降低了运算量,提高了效率。

    一种基于多粒度抽象理论的虚拟网络构建方法和系统

    公开(公告)号:CN103001823B

    公开(公告)日:2016-02-10

    申请号:CN201210455486.9

    申请日:2012-11-13

    Abstract: 本发明涉及一种基于多粒度抽象理论的虚拟网络构建方法及系统,所述方法包括:进行虚拟网络拓扑环境与应用场景配置;将配置转化为基于多粒度计算资源的虚拟化网络环境统一描述的配置文件;根据配置文件进行虚拟网络的场景解析,并对解析后的配置文件进行场景描述自动化分析;采用分布式无中心结构完成虚拟网络构建,进行不同粒度节点的网络流量能够无感融合。本发明通过采用数学模型、模拟、仿真、实物设备等多粒度的虚拟仿真方式构建虚拟网络,并实现不同粒度流量的无感融合,能够使平台具备细粒度的网络行为仿真能力,有效平衡虚拟网络建设成本与仿真真实性之间的矛盾。

    一种基于权能机制的linux系统特权分配方法

    公开(公告)号:CN104484594A

    公开(公告)日:2015-04-01

    申请号:CN201410643335.5

    申请日:2014-11-06

    CPC classification number: G06F21/44 G06F2221/2141

    Abstract: 本发明公开了一种基于权能机制的linux系统特权分配方法。本方法为:1)安全模式下,设置用户角色配置文件和角色能力配置文件;2)根据系统的特权应用所需要的能力对其进行标记;服务器的TPM对配置文件和标记后的特权应用进行度量和写保护;3)开启TPM度量,进入系统工作模式;TPM对所述配置文件进行度量验证,通过后根据用户名查询配置文件获得对应的角色,读取该角色包含的能力集;4)PAM根据该角色对当前进程的能力进行标记,当调用某个应用时,如果是特权应用,则判断该应用所标记的能力集与进程所标记的能力集是否匹配,如果匹配则进程获取该特权应用的能力并执行该特权应用,否则拒绝执行。本方法易于管理和权限控制。

    一种海量网络流数据的存储方法及装置

    公开(公告)号:CN104156400A

    公开(公告)日:2014-11-19

    申请号:CN201410350005.7

    申请日:2014-07-22

    CPC classification number: G06F17/30312 G06F17/30203 G06F17/30516

    Abstract: 本发明涉及一种海量网络流数据的存储方法及装置,包括以下步骤:采集任一时段内用户提交的数据查询请求,根据数据查询请求得到查询条件;分析查询条件中的时间属性及特征属性,选择超出预设出现频率的阈值的特征属性作为聚簇属性;为待查询数据选定分段的数量和分段的端点,根据划分的分段中待查询数据的存储量选定缓存区的大小,根据聚簇属性、待查询数据中分段的数量、分段的端点和待写入的缓存区的大小生成配置文件;采集机接收网络流数据并转发给文件服务器,文件服务器按照配置文件存储接收到的网络流数据。本发明使查询条件直接映射到相应的空间划分中,直接进行数据的写入或查询,在最大程度上降低加载和存储的开销的同时,保证查询性能。

Patent Agency Ranking