一种ETL作业的监控方法和系统

    公开(公告)号:CN107247652A

    公开(公告)日:2017-10-13

    申请号:CN201710370462.6

    申请日:2017-05-23

    Inventor: 江敏 肖诗斌

    CPC classification number: G06F11/3068 G06F11/324

    Abstract: 本发明实施例提供了一种ETL作业的监控方法和系统,其中,所述方法包括:获取并上报ETL作业的执行元数据和日志数据;基于操作请求信息根据所述执行元数据和日志数据生成图谱数据;将所述图谱数据按照图谱形式进行展示。本发明实施例可以通过图谱的形式对ETL作业进行监控,使得ETL作业的监控更加直观。

    标题生成方法和装置
    2.
    发明授权

    公开(公告)号:CN107203509B

    公开(公告)日:2023-06-20

    申请号:CN201710262158.X

    申请日:2017-04-20

    Inventor: 王洪俊 肖诗斌

    Abstract: 本发明的实施例提供了一种标题生成方法和装置。所述标题生成方法包括:获取第一新闻集合中各新闻文档的原始标题并拼接成标题文本串,其中,所述第一新闻集合包括关于同一新闻事件的至少一个新闻文档;从所述标题文本串中提取高频词串,并对提取的所述高频词串进行过滤;将经过过滤的所述高频词串中出现频次最高的词串确定为所述第一新闻集合的标题。采用本发明实施例的技术方案,可以自动为新闻文档生成了一个高质量的短标题,保证了标题的语义效果和精炼性,而且降低了短标题生成的计算难度,并具有较高的适应性。

    图像处理方法、装置、电子设备和存储介质

    公开(公告)号:CN109741394B

    公开(公告)日:2021-02-26

    申请号:CN201811506464.4

    申请日:2018-12-10

    Abstract: 本公开实施例提供一种图像处理方法、装置、电子设备和存储介质。图像处理方法包括:获取含有非空白图像区域的待处理图像;对所述待处理图像执行二值化处理,获得二值化图像;自所述二值化图像的一个顶点像素点开始,分别沿相互垂直的两个图像边界遍历所述二值化图像,获取与所述非空白图像区域的轮廓相切的多条边切线,所述边切线上包含至少一个黑色像素点且其一侧仅包含白色像素点;根据获取的多条边切线,获取至少一个外接矩形;将多个外接矩形当中面积最小的外接矩形选取为所述非空白图像区域的最小外接矩形区域。能够相对容易地计算得到图像的最小外接矩形,并且降低最小外接矩形的计算复杂度。

    一种音视频在线虚拟剪辑方法和系统

    公开(公告)号:CN105592356B

    公开(公告)日:2018-07-17

    申请号:CN201410563990.X

    申请日:2014-10-22

    Inventor: 肖诗斌 刘珅

    Abstract: 本发明提供一种精准的音视频在线虚拟剪辑方法,其包括:步骤S10,音视频对象获取;步骤S20,音视频对象转码;步骤S30,用户在线剪辑;步骤S40,音视频对象准确定位;步骤S50,剪辑关联。将剪辑工具嵌入浏览器,采用流媒体增强型定位技术,精准定位到帧,剪辑信息与父视频进行关联,以实现虚拟剪辑。此外,本发明还提供一种精准的音视频在线虚拟剪辑系统,包括:播放器、在线剪辑工具,流媒体服务器、音视频数据处理服务器,数据库三大模块,实现音视频的精准、高效的在线编辑和播放,同时避免音视频的重复存储,提高存储空间有效利用率。

    海量文档分布式检索排重系统和方法

    公开(公告)号:CN103577418A

    公开(公告)日:2014-02-12

    申请号:CN201210256159.0

    申请日:2012-07-24

    Abstract: 一种海量文档分布式检索排重系统,包括文档预处理模块、文档特征计算模块、分布式建库模块、存储模块、分布式检索模块、相似度计算模块。文档特征计算模块根据词对文档的重要程度计算文档特征向量。分布式建库模块根据文档特征向量将文档映射到不同的存储分区。分布式检索模块检索目标文档所属的若干个分区,相似度计算模块计算目标文档与这若干个分区中所有文档的相似度,从而实现海量文档分布式排重操作。所提供的海量文档分布式检索排重系统和方法,借助了分布式系统的思想,将海量文档集分散到若干个子集中,使得排重计算在1个或少数几个子集中进行,减少了相似度计算量,提高了文档排重效率。

    视频关键位置定位方法及装置

    公开(公告)号:CN107222746B

    公开(公告)日:2019-06-18

    申请号:CN201710271432.X

    申请日:2017-04-24

    Abstract: 本发明的实施例提供了一种视频关键位置定位方法及装置。所述视频关键位置定位方法包括:获取视频帧序列中各相邻视频帧之间的帧差;获取视频帧序列中设定范围内的帧差的第一帧差极大值;如果第一帧差极大值位于设定范围内的第一区域范围内,则将第一帧差极大值的位置确定为视频帧序列的当前关键位置,其中,设定范围包括第一区域范围和第二区域范围,第一区域范围的长度大于第二区域范围的长度。采用本发明实施例的技术方案,可以有效地实现视频关键位置的定位,并且避免误差传递,具有较高的鲁棒性。

    海量文档分布式检索排重系统和方法

    公开(公告)号:CN103577418B

    公开(公告)日:2016-12-21

    申请号:CN201210256159.0

    申请日:2012-07-24

    Abstract: 一种海量文档分布式检索排重系统,包括文档预处理模块、文档特征计算模块、分布式建库模块、存储模块、分布式检索模块、相似度计算模块。文档特征计算模块根据词对文档的重要程度计算文档特征向量。分布式建库模块根据文档特征向量将文档映射到不同的存储分区。分布式检索模块检索目标文档所属的若干个分区,相似度计算模块计算目标文档与这若干个分区中所有文档的相似度,从而实现海量文档分布式排重操作。所提供的海量文档分布式检索排重系统和方法,借助了分布式系统的思想,将海量文档集分散到若干个子集中,使得排重计算在1个或少数几个子集中进行,减少了相似度计算量,提高了文档排重效率。

    一种数据处理方法和系统

    公开(公告)号:CN107193883B

    公开(公告)日:2020-06-02

    申请号:CN201710285832.6

    申请日:2017-04-27

    Abstract: 本发明实施例提供了一种数据处理方法和系统,其中,所述方法包括:获取待处理的第一数据;根据自然语言处理引擎抽取所述第一数据的关键词序列;根据协同过滤引擎确定所述关键词序列的推荐数据;查询预设的数据库,得到与所述推荐数据匹配的第二数据。本发明实施例利用协同过滤引擎和第一数据的关键词序列确定第一数据的相似数据,即推荐数据,采用协同过滤技术确定第一数据的相似数据,提高了确定相似数据的准确率。当第一数据作为问题数据,第二数据作为答案数据时,本发明实施例也提高了答案推荐的准确率。

    互联网热词挖掘方法及装置

    公开(公告)号:CN104679738B

    公开(公告)日:2018-02-27

    申请号:CN201310607937.0

    申请日:2013-11-27

    Inventor: 肖诗斌 孙丽华

    Abstract: 本发明提供的一种互联网热词挖掘方法,包括:词图和背景库的初始化;实体串和非实体串的识别;字串统计指标更新;字串热度计算;字串热度排序及字串输出。将字串分为实体串和非实体串有针对性的区分识别,并设置背景库实现语料和计算指标的增量更新,提高了热词抽取的准确率和效率。同时,还提供了一种互联网热词挖掘装置,包括:存储单元,实体串识别单元,非实体串识别单元,热词抽取单元。热词抽取单元完成:统计指标的增量更新,字串热度计算,字串排序输出。实现热词有序、高效、准确地抽取。

Patent Agency Ranking