-
公开(公告)号:CN109902223A
公开(公告)日:2019-06-18
申请号:CN201910032064.2
申请日:2019-01-14
Applicant: 中国科学院信息工程研究所
IPC: G06F16/9535 , G06F16/9536 , G06F16/35 , G06K9/62
Abstract: 本发明提出了一种基于多模态信息特征的不良内容过滤方法,将本文集划分为训练集与测试集,将分词结果和关键词输入到分类算法,提取文本特征,训练分类器;将训练好的分类器用于预测测试集,得到文本分类结果;将文本集和关键词集转为图像数据,将数据图像集与文本集相对应,划分为对应的训练集与测试集,进行相似度计算,得到相似度最大值集合以及最大值对应的关键词集合,如果该关键词集合的关键词满足阈值约束,则匹配成功,则该关键词为相似度最大值对应的关键词,作为图像分类结果;对比文本分类结果与图像分类结果,根据判别条件得到最终的类别预测结果,以过滤该不良内容。
-
公开(公告)号:CN103336808B
公开(公告)日:2017-12-15
申请号:CN201310256296.9
申请日:2013-06-25
Applicant: 中国科学院信息工程研究所
IPC: G06F17/30
Abstract: 本发明涉及一种基于BSP模型的实时图数据处理系统和方法,所述系统包括:数据存储单元用于对图数据预处理,并按“内存存储—分布式内存存储—分布式文件系统”的三层存储结构存储,基于图数据生成作业;图数据查询统计单元用于对图数据进行查询和统计,将数据存储单元生成的作业分解为多个任务,以均衡的方式分发给相应计算节点,再统计每个任务的计算结果,并合并所有任务的计算结果作为最终结果返回给用户;图数据分析处理单元用于使各计算节点通过迭代计算执行分解出的任务,并通过消息传递实现每次迭代计算的同步,并输出任务的计算结果。所述方法基于该系统实现实时图数据处理,均具有访问高效、保持集群负载均衡、加速BSP模型执行效率等优点。
-
公开(公告)号:CN103593433B
公开(公告)日:2016-11-02
申请号:CN201310559846.4
申请日:2013-11-12
Applicant: 中国科学院信息工程研究所
IPC: G06F17/30
Abstract: 本发明涉及一种面向海量时序数据的图数据处理方法及系统,预处理社交网络数据,并抽象出以顶点代表人物,以若干条带有时间戳的边代表人物间互动关系的图结构;该表示方法能够有效的表示有互动时序关系的社交网络关系;根据名人效应将图结构按照预定的欧式距离切分成若干个图结构块,并给图结构块及其内部的顶点编号;按照内存组织方式将图结构块导入内存的相应位置中;该内存存储方式充分利用了图数据的分布特性,能达到高效的存储和查询性能;本发明本着节省计算时间和内存空间的原则,改进了原始以顶点为计算单元的编程模型,而是采用以消息为计算单元的编程模型,这种方式在很大程度上节省了计算时间,也节约了存储空间。
-
公开(公告)号:CN103401937B
公开(公告)日:2016-06-08
申请号:CN201310341764.2
申请日:2013-08-07
Applicant: 中国科学院信息工程研究所
IPC: H04L29/08
Abstract: 本发明涉及一种日志数据处理方法及系统。其中,日志数据处理方法包括:步骤一,设置每个发送端都与所有的服务器相连;步骤二,发送端为自身产生的每条日志分配一个日志标识;步骤三,发送端查询发送记录表中是否存在待发送日志的日志标识,若存在则从发送记录表中获取与该待发送日志的日志标识对应的服务器标识,该服务器标识对应的服务器即为选择的服务器;步骤四,发送端将待发送日志数据直接发送给选择的服务器。本发明的日志数据处理方法及系统,避免了负载均衡器成为性能瓶颈,使得应用本发明日志数据处理方法的系统具有良好的可扩展性,较好地适应了日志分析中输入数据量大、输出数据量小的特点。
-
公开(公告)号:CN103810023A
公开(公告)日:2014-05-21
申请号:CN201410080662.4
申请日:2014-03-06
Applicant: 中国科学院信息工程研究所
Abstract: 本发明涉及一种云平台中分布式应用的智能部署方法及系统,其方法为用户提交运行作业及资源需求;调度管理器将运行作业指定的可执行程序存储到分布式存储系统中,并记录存储位置;调度管理器根据运行作业中包含实例的个数形成相应数量的任务,为各个任务匹配物理节点,并将各任务下发给最匹配物理节点的任务执行器;最匹配物理节点的任务执行器根据任务中包含的信息配置虚拟机并启动;虚拟机根据任务中包含的信息自动从分布式存储系统中获取可执行程序并运行;本发明其使得云平台中多个分布式应用程序可以共享一个物理集群的资源,并给用户提供一种简单、透明、自动的部署接口,方便分布式应用程序的智能化部署,提高了资源的利用率。
-
公开(公告)号:CN103617492A
公开(公告)日:2014-03-05
申请号:CN201310612869.7
申请日:2013-11-26
Applicant: 中国科学院信息工程研究所
CPC classification number: Y04S10/54
Abstract: 本发明涉及一种电网历史场景调阅方法及系统,包括:实时采集电网数据并存储在分布式数据库中;当有客户端想调阅一个历史场景时,客户端发送调阅请求;根据调阅请求建立并启动一个虚拟机;按照调阅请求为此虚拟机配置应用系统的基本运行环境;按照调阅请求将所需的电网数据从分布式数据库中装载入建立的虚拟机,生成相应的电网历史场景;向客户端反馈历史场景加载完成的信息及相应的客户端配置信息;客户端根据接收的客户端配置信息进行配置,进而通过超链接方式访问历史场景生成服务器中相应的历史场景;本发明通过虚拟化资源管理技术和分布式数据管理技术实现电网历史场景的调阅,其可实现动态在线的、任意时刻电网历史运行场景的调阅。
-
公开(公告)号:CN103077189A
公开(公告)日:2013-05-01
申请号:CN201210560162.1
申请日:2012-12-20
Applicant: 中国电力科学研究院 , 国家电网公司 , 福建省电力有限公司 , 中国科学院信息工程研究所
Inventor: 孙其强 , 周薇 , 李立新 , 狄方春 , 韩冀中 , 戴娇 , 黄文英 , 任晓辉 , 林静怀 , 江凡 , 谢巧云 , 花静 , 闫湖 , 黄运豪 , 季知祥 , 袁荣昌 , 李大鹏 , 王威
IPC: G06F17/30
CPC classification number: G06F17/30348
Abstract: 本发明涉及电力系统控制技术,具体涉及一种面向大电网的并行实时数据库节点定位系统,包括:客户端模块:用于访问并行实时数据库主机节点模块,由主机节点模块返回主机信息,直接访问主机;主机节点模块:用于接受来自客户端模块的请求,访问定位服务器模块,返回主机信息;定位服务器模块:用于从系统管理模块中获取应用的主机信息。在保证并行实时库高并发响应的基础上,正确定位到主机,满足应用服务的要求。在客户端访问主机之前,先访问电力系统中每个域的定位服务器,然后更新本机的主机信息,最后从主机上获取数据。
-
公开(公告)号:CN102866918A
公开(公告)日:2013-01-09
申请号:CN201210262881.5
申请日:2012-07-26
Applicant: 中国科学院信息工程研究所
IPC: G06F9/50
Abstract: 本发明涉及一种面向分布式编程框架的资源管理系统。该面向分布式编程框架的资源管理系统包括主部分和从部分,从部分用于启动编程框架执行器,监控编程框架执行器的运行状态,向主部分报告该从部分的资源使用信息和该从部分上编程框架执行器的资源使用信息;主部分包括:收集器,用于接收并保存从部分的资源使用信息和从部分上编程框架执行器的资源使用信息,保存集群资源信息,收集器中包括监控器,用于监控从部分上编程框架执行器的资源使用信息,根据编程框架定制的资源调整决策触发器向调度器发送为编程框架增加或减少资源的任务;调度器,用于调度、下发和控制监控器发送的任务。本发明具有良好的兼容性与灵活性。
-
-
-
-
-
-
-