-
公开(公告)号:CN104951509A
公开(公告)日:2015-09-30
申请号:CN201510272521.7
申请日:2015-05-25
Applicant: 中国科学院信息工程研究所
IPC: G06F17/30
CPC classification number: G06F16/90335 , G06F16/182
Abstract: 本发明公开了一种大数据在线交互式查询方法及系统。通过改进MapReduce框架下Map和Reduce之间的数据传递规则,使得Map按照用户定义的计算窗口分块读取并计算计算窗口内的数据,然后直接把计算结果推送给Reduce端,Reduce端在处理完数据后立即返回给用户。以此实现大数据环境下,用户可以根据业务选取不同的属性定义计算窗口,流式返回各个窗口内的计算结果,实现交互式计算的目标。
-
公开(公告)号:CN114461906B
公开(公告)日:2025-05-02
申请号:CN202210024433.5
申请日:2022-01-06
Applicant: 中国科学院信息工程研究所
IPC: G06F16/9535 , G06N3/045 , G06N3/0464 , G06N3/0499 , G06F18/25 , G06N3/048
Abstract: 本发明公开了一种聚焦于用户核心兴趣的序列推荐方法及装置,包括获取用户与项目的交互序列以及所述交互序列中每个交互行为对应的时间戳;得到所述交互序列的嵌入矩阵;对所述嵌入矩阵进行自注意力计算,得到每一查询对于所有键的注意力值概率分布;获取每一查询的预先定义固定默认概率分布;根据两个概率分布相似性,得到各查询的活跃性度量;基于所述活跃性度量分别计算各键的注意力值,以构建自注意力矩阵;依据所述自注意力矩阵,得到所述用户的项目推荐结果。本发明通过在嵌入层加入时间间隔,并加入了活跃性度量指标,从而可以自适应地衡量项目与用户核心兴趣之间的相关性,提高了模型表达能力和推荐结果的准确率。
-
公开(公告)号:CN118051643A
公开(公告)日:2024-05-17
申请号:CN202410203154.4
申请日:2024-02-23
Applicant: 中国科学院信息工程研究所
IPC: G06F16/901 , G06F16/906 , G06F16/907 , G06F16/903 , G06F16/22
Abstract: 本发明公开了一种面向元数据稀疏分布的LSM数据组织方法及装置。本发明使用动态分区组织排序字符串表,具体先对键值对数据的键名进行聚类分析得到键名群组,然后修剪键名群组形成键值对分区,将键值对数据刷写进对应的键值对分区内形成排序字符串表,各键值对分区独立进行合并排序操作,从而有效限制了元数据稀疏分布的排序字符串表的形成,进而大大减少参与合并排序过程的高层级排序字符串表数量,减少高层级排序字符串表反复参与合并排序操作的次数,检索键值对数据时,键值对分区进一步加快定位键值对数据,从而实现系统读写性能的提升。
-
公开(公告)号:CN117349694A
公开(公告)日:2024-01-05
申请号:CN202311097475.2
申请日:2023-08-29
Applicant: 中国科学院信息工程研究所
IPC: G06F18/24 , G06F18/213 , G06F18/25 , G06N3/0499 , G06N3/0895
Abstract: 本发明涉及一种支持多模态数据弱监督分类的方法和系统。该方法包括:对图像、文本分别进行特征抽取,获得图像特征、文本特征,对图像特征、文本特征进行特征融合,获得融合特征;将图像特征、文本特征和融合特征输入基于Mixmatch的多模态弱监督分类模型中进行分类;将基于Mixmatch的多模态弱监督分类模型得到的分类结果放入分类器中获取最终的分类结果。本发明实现了一种充分利用少量有标注的多模态数据与大量无标注的多模态数据的分类方案,能够解决多模态数据标注稀缺的问题,提高对互联网中多种模态数据的利用率,在互联网数据处理领域具有很强的实用性和应用范围,具有很广泛的应用前景。
-
公开(公告)号:CN109871870A
公开(公告)日:2019-06-11
申请号:CN201910035916.3
申请日:2019-01-15
Applicant: 中国科学院信息工程研究所
IPC: G06K9/62
Abstract: 本发明提供一种大数据流中的基于最近邻的时间敏感性异常检测方法,属于大数据流、异常检测技术领域,核心是一个以LSH抽样视图为基础的统计估计器,滑动窗口使用确定波模型,将估计确定波窗口内多个随机时间区间的计数和方差以监测数据在不同时间区间的分布,能够快速寻找大数据流中的各数据的邻居,降低计算开销,无需单独为每个数据保存其邻居信息,节省空间占用,提高更新效率,基于时间敏感性能够快速判断数据分布是否异常以及异常发生的时间范围。
-
公开(公告)号:CN118069891B
公开(公告)日:2025-05-13
申请号:CN202410261182.1
申请日:2024-03-07
Applicant: 中国科学院信息工程研究所
IPC: G06F16/901 , G06F16/907 , G06F16/903 , G06F16/22
Abstract: 本发明涉及一种基于滑动窗口的LSM数据合并排序方法和装置。本发明提出的方法首先构建面向合并操作中处于低层级的排序字符串表的滑动窗口,依据滑动窗口选定参与合并操作的低层级排序字符串表,同时获取滑动窗口左右最近的两个排序字符串表,并获取其键控范围,然后在处于高层级的排序字符串表中选择与低层级排序字符串表键控范围存在交集的排序字符串表并获取其键控范围,通过预估合并后排序字符串表的键控范围,并与滑动窗口左右最近的两个排序字符串表键控范围作比较,判定是否进行合并排序操作。本发明减少了处于高层级的排序字符串表反复参与低层级排序字符串表合并过程的次数,加快了合并排序速率,提升了系统读写性能。
-
公开(公告)号:CN118132710A
公开(公告)日:2024-06-04
申请号:CN202410273102.4
申请日:2024-03-11
Applicant: 中国科学院信息工程研究所
IPC: G06F16/332 , G06F40/30 , G06F18/213
Abstract: 本发明提出了一种基于多尺度滑动窗口与动态聚合的对话级情感分析方法,涉及自然语言处理领域。本方法首先对评论对话构造对话树,通过滑动窗口构造多尺度话语窗口;然后利用预训练语言模型编码多尺度话语窗口;再基于对话情感预测模型根据编码的多尺度话语窗口特征表示进行预测,生成多尺度话语窗口预测结果并进行动态聚合;利用多任务学习,构造窗口级、线程级和对话级损失函数,训练优化对话情感预测模型。本方法在无需设计复杂网络的情况下提高在由多轮对话情感分析的预测效果。
-
公开(公告)号:CN109871870B
公开(公告)日:2021-05-25
申请号:CN201910035916.3
申请日:2019-01-15
Applicant: 中国科学院信息工程研究所
IPC: G06K9/62
Abstract: 本发明提供一种大数据流中的基于最近邻的时间敏感性异常检测方法,属于大数据流、异常检测技术领域,核心是一个以LSH抽样视图为基础的统计估计器,滑动窗口使用确定波模型,将估计确定波窗口内多个随机时间区间的计数和方差以监测数据在不同时间区间的分布,能够快速寻找大数据流中的各数据的邻居,降低计算开销,无需单独为每个数据保存其邻居信息,节省空间占用,提高更新效率,基于时间敏感性能够快速判断数据分布是否异常以及异常发生的时间范围。
-
公开(公告)号:CN111754383A
公开(公告)日:2020-10-09
申请号:CN202010403115.0
申请日:2020-05-13
Applicant: 中国科学院信息工程研究所
Abstract: 本发明提出一种基于GPU加速的优化线程调度与分区的强连通图检测方法,为使用异构系统进行强连通图检测的方法,通过将每个warp分成多个虚拟warp并分配多个顶点任务、使用着色分区替换传统的WCC分区等方法平衡了线程分配、增加了每次迭代产生的强连通图数目,从而达到提升算法运行效率的目的。
-
公开(公告)号:CN110287150A
公开(公告)日:2019-09-27
申请号:CN201910405408.X
申请日:2019-05-16
Applicant: 中国科学院信息工程研究所
IPC: G06F16/13 , G06F16/16 , G06F16/182
Abstract: 本发明公开了一种大规模存储系统元数据分布式管理方法与系统。本发明将HDFS存储于NameNode内存中的元数据抽象成二维表的结构,以二维表的形式存储在分布式数据库中;抽象后的各二维表之间通过inode_id相互关联。Namenode成为客户端存取元数据的桥梁,客户端首先连接Namenode,Namenode来操作分布式数据库中的元数据,并将元数据返回给客户端。本发明解决了HDFS的单点故障问题。
-
-
-
-
-
-
-
-
-