基于分布式数据采集任务调度方法及装置

    公开(公告)号:CN111857983A

    公开(公告)日:2020-10-30

    申请号:CN202010355882.9

    申请日:2020-04-29

    Inventor: 刘春阳 张旭 王鹏

    Abstract: 本发明公开了一种基于分布式数据采集任务调度方法,其包括:获取待处理任务;对待处理任务分类得到多个周期性重复任务;记录每个周期性重复任务在前n次执行中每次执行的起止时间点;计算每个周期性重复任务在前n次执行中的平均间隔时长 每个周期性重复任务下一次执行的起始时间点,确定多个周期性重复任务的下一次执行顺序;记录每个任务执行器的负载;向多个任务执行器分别发送任务请求信号,并接受各个任务执行器的反馈信号;向接受到的第一个反馈信号对应的任务执行器发送需要最先执行的周期性重复任务。本发明还公开了一种基于分布式数据采集任务调度装置。本发明能够使得分布式系统执行任务时取得最优效果,运行更加稳健。

    一种网络话题热度预测方法

    公开(公告)号:CN106557552B

    公开(公告)日:2020-08-21

    申请号:CN201610958001.6

    申请日:2016-10-27

    Abstract: 本发明公开了一种网络话题热度预测方法。它包括话题检测、热度预测建模、预测热度值计算三个步骤。话题检测部分负责从网络数据中获取与用户给定话题关键词相关的话题数据。预测建模部分按照用户设定的时间粒度大小统计话题检测结果中每个时间段内的话题热度值,并计算高斯过程模型关于话题热度统计时间点的协方差矩阵,构建基于高斯过程的预测模型。预测热度值计算部分针对用户给定的预测时间点,利用构建的高斯过程模型计算话题在给定时间点的热度值。本发明综合利用信息检索技术、分类技术进行话题检测,利用高斯过程模型来进行话题热度预测,提高了话题预测的实用性和有效性。

    基于知识标注评价的任务分配方法及系统

    公开(公告)号:CN110443476A

    公开(公告)日:2019-11-12

    申请号:CN201910667446.2

    申请日:2019-07-23

    Abstract: 本发明公开了一种基于知识标注评价的任务分配方法,其特征在于,包括:对标注员往期标注任务进行评分,并按任务完成时段及按任务类型将综合分数存储于标注员人物库中;根据待分配任务的类型和任务发布时间所属时段检索标注员人物库,筛选综合分数高于预定阈值的标注员,并从中选出已分配任务量最少的标注员,向其下发待分配任务。本发明公开了一种基于知识标注评价的任务分配系统。本发明在任务分配时综合利用标注员评价结果,根据知识库类型、业务方向、标注效果等维度建立任务分配策略,将新的标注任务自动分配给合适的标注员,提升任务分配的效率及知识标注的整体质量。

    基于深度神经网络的新闻流行度预测模型训练方法

    公开(公告)号:CN110083699A

    公开(公告)日:2019-08-02

    申请号:CN201910202638.6

    申请日:2019-03-18

    Abstract: 本发明提出了一种基于深度神经网络的新闻流行度预测模型训练方法,包括:获取特定主题设定时间段的新闻文章数据,用Pandas进行数据清洗后按照设定时间长度进行顺次分组,获取按时间顺序排列得到新闻流行度序列;依据所述新闻流行度序列,从第一个流行度开始依次按照采样长度为w的连续序列作为输入样本,并采样其之后一期的数据作为输出样本,构建训练样本集;随机从训练样本集中选择训练样本对基于LSTM网络的新闻流行度预测模型进行训练,并采用Pearson相关系数进行关联性分析删除不良的训练样本,循环训练过程至训练结束。本发明可以获得用来对无趋势性、无季节性及非线性新闻流行度进行较高准确率预测的新闻流行度预测模型。

    结合用户情感表达方式的中文情感新词识别方法和系统

    公开(公告)号:CN105786991B

    公开(公告)日:2019-03-15

    申请号:CN201610089962.8

    申请日:2016-02-18

    Abstract: 本发明公开了一种结合用户情感表达方式的中文情感新词识别方法和系统。其中,该方法包括获取输入文本;基于所述输入文本中词频大于第一预设阈值的字符串,构建候选新词集合;使用中文旧词词库对所述候选新词集合进行过滤;基于统计指标从过滤的候选新词集合中筛选新词,构建新词集合;其中,所述统计指标为构词能力、点互信息、灵活度和邻接熵;基于情感倾向点互信息,从所述新词集合中识别情感新词,构建初始情感新词集合;基于所述输入文本中涉及的用户的情感表达方式,从所述初始情感新词集合中筛选高置信度情感新词,并将其作为所识别的中文情感新词。通过本发明实施例解决了如何提高情感新词识别的精度和灵活度的技术问题。

Patent Agency Ranking