-
公开(公告)号:CN115361595A
公开(公告)日:2022-11-18
申请号:CN202210900140.9
申请日:2022-07-28
Applicant: 华中科技大学
IPC: H04N21/81 , H04N21/44 , H04N21/4402 , H04N21/488 , G06F16/33 , G06N3/04 , G06N3/08
Abstract: 本发明属于计算机视觉领域与自然语言处理的交叉领域,具体涉及一种视频弹幕生成方法,包括:首先对原始的视频及弹幕进行分段处理来降低输入到模型中的信息量,并通过预训练模型进行特征提取,由此来获得视频及弹幕的特征表示;使用堆叠的注意力层来对视频与弹幕的特征进行融合并使用记忆单元来捕获每段之间的上下文信息;通过解码器结构对融合的特征表示进行解码,最终生成新的弹幕评论。本发明通过引入分段机制与记忆单元,解决了使用Transformer结构只能处理固定长度上下文、自注意力机制计算量大、使用静态位置编码造成长距离信息丢失的问题,有效提高了所生成的弹幕评论的质量,还可以对不同长度的视频进行自适应化处理,分段生成多个视频弹幕。
-
公开(公告)号:CN115329127A
公开(公告)日:2022-11-11
申请号:CN202210867181.2
申请日:2022-07-22
Applicant: 华中科技大学
IPC: G06F16/735 , G06F16/75 , G06F16/783 , G06F16/65 , G06K9/62 , G06N3/04 , G06N3/08 , G06V10/44 , G06V10/764
Abstract: 本发明公开了一种融合情感信息的多模态短视频标签推荐方法,属于视频处理技术领域,包括:构建短视频样本集;将短视频样本输入基于多头注意力机制和自编码器的初始多模态标签推荐模型,以使其对短视频样本的图像、音频、文本进行特征提取得到内容特征和情感特征,并利用注意力网络进行融合得到多个候选视频标签;以期望视频标签为目标,以候选视频标签与期望视频标签的文字特征区别为损失,训练初始多模态标签推荐模型得到目标多模态标签推荐模型;将当前短视频输入目标多模态标签推荐模型以使其生成目标视频标签。本发明通过融合图像特征、音频特征以及文本特征,能够充分利用视频相关的多模态信息,有效提高所生成的视频标签的质量。
-
公开(公告)号:CN113449183B
公开(公告)日:2022-07-12
申请号:CN202110680280.5
申请日:2021-06-18
Applicant: 华中科技大学
IPC: G06F16/9535 , G06N3/04 , G06N3/08
Abstract: 本发明公开了基于离线用户环境和动态奖励的交互式推荐方法和系统,属于交互式推荐技术领域。包括:构建离线用户环境,将其作为强化学习的环境,构建演员‑评论家架构的推荐智能体,将其作为强化学习的智能体;推荐智能体与离线用户环境不断进行交互自主学习,以期望在不断学习过程中获得最大化的累积奖励,得到学习好的推荐智能体,将待推荐用户的状态输入至学习好的推荐智能体,得到推荐项目列表。本发明通过构建并训练一个离线用户环境,捕获用户的兴趣偏好,模拟用户的行为(选择奖励最大的项目),完成环境的状态转移。本发明通过构建离线用户环境学习用户的奖励函数,根据用户的动态兴趣偏好动态调整奖励反馈,从而提高智能体学习效果。
-
公开(公告)号:CN112836739A
公开(公告)日:2021-05-25
申请号:CN202110128228.9
申请日:2021-01-29
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于动态联合分布对齐的分类模型建立方法及其应用,属于域适应领域,包括:分别为源域数据集和目标域数据集中的样本赋权重,使类别分布相同;将两个数据集中的样本输入联合分布对齐模型,并计算损失;联合分布对齐模型包括:特征提取器,用于提取输入样本的特征;特征判别器,用于判断特征提取器提取的特征来源;分类器,用于对特征提取器提取的特征进行分类以产生相应的类别标签;类别判别器,用于判断分类器产生的类别标签的来源;根据损失更新联合分布对齐模型后为目标域数据集中的样本标注伪标签以更新样本权重;迭代训练结束后,由特征提取器和分类器构成分类模型。本发明能够解决训练数据缺乏的问题并减少训练资源和时间。
-
公开(公告)号:CN109636303B
公开(公告)日:2020-12-08
申请号:CN201811262115.2
申请日:2018-10-27
Applicant: 华中科技大学
IPC: G06Q10/10 , G06F16/951 , G06F16/22 , H04L29/08
Abstract: 本发明公开了一种半自动提取和结构化文档信息的存储方法及系统,主要实现对文档信息的半自动分类提取和结构化。系统中WebUI模块提供的Web界面用于支撑项目管理模块、提取项收集模块和用户管理模块;项目管理模块导入待分析的PDF文档;提取项收集模块对待提取列表中的信息进行人工校准和保存;用户管理模块是对用户权限的管理;采用存储模块保存文档元信息和提取项信息;实现对文档信息的自动化提取和结构化,核心采用自动化提取算法模块,用于将上传的文档扫描后自动检测生成提取项的页面预测,同时对提取项收集模块得到的信息进行结构化;本系统实现了对文档信息半自动提取和结构化,使存储的信息更合理化,同时提升了系统的速度和效率。
-
公开(公告)号:CN111832021A
公开(公告)日:2020-10-27
申请号:CN202010584619.7
申请日:2020-06-23
Applicant: 华中科技大学
Abstract: 本发明公开了一种安卓应用流氓行为的识别方法及系统,动态运行和遍历待识别的安卓应用,获取安卓应用运行时的界面状态转换图后,通过对安卓应用中流氓广告的特点进行分析,通过对携带有广告的界面上各广告中的文字进行识别,判断界面上的广告是否为包含诱导点击内容的广告;与此同时,基于界面状态转换图,结合启发式规则,实现了包含覆盖可点击组件的广告的识别以及应用退出时的广告的识别,从而能够精确的识别安卓应用中的流氓广告;另外,本发明训练基于随机森林的界面分类器区分安卓应用界面中的弹框界面和非弹框界面,根据识别到的弹框界面,基于启发式规则,能够精确的识别安卓应用中的流氓弹框。
-
公开(公告)号:CN111639254A
公开(公告)日:2020-09-08
申请号:CN202010472760.8
申请日:2020-05-28
Applicant: 华中科技大学
IPC: G06F16/9532 , G06F16/332 , G06F16/33 , G06N3/08
Abstract: 本发明公开一种医疗领域的SPARQL查询语句的生成系统和方法,属于机器翻译领域。包括:生成器,将查询模板库和知识库作为输入,用于从知识库中提取实体与属性,填充至中文问句模板和SPARQL查询模板中,生成训练集;分词模块,用于对训练集中中文问句进行分词处理,将分词结果转发给学习器;对目标中文问句进行分词处理,将分词结果转发给解释器;学习器,用于根据分词后的中文训练集对神经网络模型进行训练,得到训练好的模型;解释器,用于利用训练好的神经网络模型对分词后的目标中文问句进行预测,得到预测的SPARQL查询语句,从而不再使用复杂的统计和手工模型,实现直接将医疗健康查询中文问句转换为SPARQL查询语句。
-
公开(公告)号:CN111639252A
公开(公告)日:2020-09-08
申请号:CN202010420460.5
申请日:2020-05-18
Applicant: 华中科技大学
IPC: G06F16/953 , G06F16/33 , G06F40/284 , G06N3/04
Abstract: 本发明属于新闻检测领域,具体涉及一种基于新闻-评论关联性分析的虚假新闻识别方法,包括:基于新闻中各文本子句内容构建二维新闻特征矩阵,以及根据各条评论的内容构建该条评论的一维特征向量,并将每条初始评论作为根节点、每条回复评论作为子节点构建多个评论树;将每个评论树中每个节点特征向量与其父节点上下文关联特征向量结合,计算该评论树中所有叶子节点上下文关联特征向量并加权计算,得到评论树特征向量,所有评论树特征向量构成二维评论特征矩阵;匹配新闻特征矩阵与评论特征矩阵间的关联性,得到新闻特征向量和评论特征向量,以判断新闻真实性。本发明充分利用新闻文本及其在传播过程中产生的信息,精确度强,适应大规模社交网络。
-
公开(公告)号:CN111541910A
公开(公告)日:2020-08-14
申请号:CN202010318723.1
申请日:2020-04-21
Applicant: 华中科技大学
IPC: H04N21/233 , H04N21/234 , H04N21/2343 , H04N21/235 , H04N21/435 , H04N21/439 , H04N21/44 , H04N21/4402 , H04N21/488 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于深度学习的视频弹幕评论自动生成方法及系统,属于计算机视觉领域,包括:收集视频数据和对应的弹幕数据,以一条弹幕的文字特征作为标签,以该弹幕的上下文特征和周边的图像特征、音频特征作为属性,形成一个样本,将所有样本划分为训练集、验证集和测试集;基于自编码器和自解码器建立弹幕评论自动生成模型,用于对弹幕各属性进行时间序列分析并实现多模态特征融合后,生成弹幕评论;利用训练集、验证集和测试集对模型进行训练、验证和测试;以当前视频中目标时间点周边的弹幕、图像以及音频的特征为输入,利用已训练好的弹幕评论自动生成模型生成在目标时间点出现的弹幕评论。本发明能够提高自动生成的视频弹幕评论的质量。
-
公开(公告)号:CN111522839A
公开(公告)日:2020-08-11
申请号:CN202010336575.6
申请日:2020-04-25
Applicant: 华中科技大学
IPC: G06F16/242 , G06F16/2452 , G06F16/28 , G06F16/22 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于深度学习的自然语言查询方法,包括以下步骤:S1、将自然语言问题Q输入到预训练好的句向量模型中,得到对应的句向量;S2、从句向量模型所对应的句向量空间中检索出自然语言问题Q所对应的句向量的最近邻句向量及其自然语言问题,将所得最近邻句向量的自然语言问题的关系数据库表作为自然语言问题Q的目标关系数据库表;S3、将自然语言问题Q与其目标关系数据库表表头拼接到一起,输入到预训练好到的转换模型中,得到其对应的SQL查询语句;S4、采用所得SQL语句在自然语言问题Q的目标关系数据库表中进行查询,得到查询结果。本发明在给定自然语言问题后能够快速确定其目标关系数据库表,在现实场景中查询结果的准确率较高。
-
-
-
-
-
-
-
-
-