-
公开(公告)号:CN118212502A
公开(公告)日:2024-06-18
申请号:CN202410412263.7
申请日:2024-04-08
Applicant: 哈尔滨工业大学(威海) , 长江时代通信股份有限公司
IPC: G06V10/82 , G06V10/774 , G06V10/40 , G06V10/80 , G06V10/26 , G06V10/22 , G06V10/764 , G06V20/70 , G06N3/0455 , G06N3/096 , G06N3/0464 , G06N3/048
Abstract: 本发明公开了一种基于图像焦点区域特征的多任务学习方法,方法步骤包括:收集原始图像获得输入图像;进行基础特征提取获得基础特征图像;利用分支结构生成视觉解释图;进行焦点区域的特征融合获得特征融合图像;利用单解码器进行特征压缩以及分割结果预测获得掩膜图;利用掩膜图进行区域选取获得掩膜特征图;将基础特征图像、视觉解释图和掩膜特征图进行叠加累乘生成预测结果。该多任务学习方法通过焦点区域的视觉解释图和掩膜图相结合的方式实现图像分类、分割及定位任务的多任务联合学习,解决了现阶段多任务学习领域中分类、分割、定位任务间出现负迁移的问题,实现多任务在语义层面的一致性,提高图像分类、分割及定位任务的效果。
-
公开(公告)号:CN118212415A
公开(公告)日:2024-06-18
申请号:CN202410412264.1
申请日:2024-04-08
Applicant: 哈尔滨工业大学(威海) , 长江时代通信股份有限公司
IPC: G06V10/26 , G06V20/70 , G06V10/42 , G06V10/46 , G06V10/80 , G06V10/82 , G06N3/0455 , G06N3/0464
Abstract: 本发明公开了一种基于混合卷积和多尺度注意力门的图像分割方法,步骤包括:对待分割的图像进行大小调整,再进行数据增强;通过编码器提取出高级语义信息特征图;将高级语义信息特征图输入到混合卷积模块中获取具有全局上下文信息的特征图;将混合卷积模块输出的特征图输入到解码器,同时将编码器不同层级的特征图输入到多尺度注意力门,再进行跳跃连接;解码器对跳跃连接后的特征图进行融合和多级上采样以细粒度地实现图像分割;在优化函数下对算法模型的参数进行调整。该图像分割方法通过加入混合卷积模块和多尺度注意力门以提取图像的全局上下文信息和增强有价值编码器特征,从而高效地进行跳跃连接,提升图像网络的分割效果。
-
公开(公告)号:CN116486230B
公开(公告)日:2024-02-02
申请号:CN202310433523.4
申请日:2023-04-21
Applicant: 哈尔滨工业大学(威海) , 长江时代通信股份有限公司
Abstract: 本申请实施例公开了一种基于半递归特征金字塔结构的图像检测方法及存储介质,涉及深度学习图像检测技术领域,其中方法包括:通过图像采集设备获取实时图像;将实时图像输入到半递归特征金字塔的低语义层生成第一次低语义特征;将第一次低语义特征进行反馈特征选取操作,生成反馈特征;将反馈特征和实时图像再次输入到低语义层进行递归计算得到第二次低语义特征;将第一次低语义特征和第二次低语义特征分别输入到半递归特征金字塔的高语义层进行下采样,得到两次高语义特征;将第一次低语义、第二次低语义特征和两次高语义特征分别进行对应层的融合,生成用于预测的特征,利用自适应检测头进行多级预测,得到预测结果并进
-
公开(公告)号:CN113761936A
公开(公告)日:2021-12-07
申请号:CN202110953670.5
申请日:2021-08-19
Applicant: 哈尔滨工业大学(威海) , 长江时代通信股份有限公司
IPC: G06F40/30 , G06F16/35 , G06F40/117 , G06N3/04 , G06N3/08
Abstract: 本发明提供一种基于多头自注意力机制的多任务篇章级事件抽取方法,包括如下步骤:将单一句子级事件抽取转换为打包句子集合的篇章级事件抽取;利用预训练的语言模型BERT模型进行词嵌入表示;对单句中所有单词嵌入和位置嵌入作为输入,利用卷积神经网络模型进行编码,结合分段最大池策略捕获句子内部的最有价值的特征;利用多头自注意力模型,获得融合全文语义信息的篇章表示和注意力权重;利用分类器得到预测的事件类型;利用事件类型作为先验信息,链接到事件元素提取的输入序列中,利用预训练模型结合机器阅读理解方法提取序列中所有相关元素。本发明可用于篇章级事件抽取任务,实现了将序列标注问题转换为机器阅读理解问题的突破。
-
公开(公告)号:CN118887308B
公开(公告)日:2025-04-29
申请号:CN202410923814.6
申请日:2024-07-11
Applicant: 哈尔滨工业大学(威海) , 长江时代通信股份有限公司
IPC: G06T11/00 , G06N3/0455 , G06N3/08 , G06F40/284 , G06F40/242
Abstract: 本发明公开了一种基于一致性模型的文生图方法,步骤包括:使用原始数据集来训练Tokenizer和变分自编码器;将Tokenizer和变分自编码器用于处理原始的图像和文本对,将图像和文本对转化为图像特征向量和文本特征向量对;构建文本条件生成的一致性模型并进行训练;由Tokenizer、随机采样高斯噪声、一致性模型以及变分自编码器的解码器构建推理模型,将待生成文本输入至Tokenizer,从变分自编码器的解码器处获得生成的图像。该文生图方法利用Tokenizer嵌入文本信息,利用变分自编码器压缩数据集,实现一步采样,且在训练过程中,只需训练单个条件采样器,节省了训练的时间。
-
公开(公告)号:CN116932887A
公开(公告)日:2023-10-24
申请号:CN202310669701.3
申请日:2023-06-07
Applicant: 哈尔滨工业大学(威海) , 长江时代通信股份有限公司
IPC: G06F16/9535 , G06F16/951 , G06F16/48 , G06N3/0464 , G06N3/08
Abstract: 本发明所述一种基于多模态图卷积的影像推荐系统及方法,属于计算机技术领域。本发明综合利用图卷积对多模态特征聚合的方法,基于图卷积架构针对用户偏好实现影视作品的推荐。本方法首先通过爬虫算法,获取同一个用户对影视作品的评价记录、影视作品相关海报等信息;对数据集进行预处理,使用MixGen方法对数据进行增强,对数据集进行扩充;使用线性变换等方法将图像数据模态和文本数据模态表示为向量形式;对不同模态的信息进行提取,分别获取多模态中文本模态和图像数据模态的向量表示;利用图卷积对同一个模态进行层内和层间节点聚合,提取用户对电影的细粒度意图;利用层间聚合建立细粒度和粗粒度用户意图之间的关系,对不同模态的处理都建立超级节点结合;将聚合得到各模态的特征通过一个注意力机制层,增强不同模态之间的交互,最终获取影视作品推荐列表。本发明解决了现有的多模态推荐系统难以很好的在特定模式下对用户偏好建模以及不同模态数据难以进行交互的问题。
-
公开(公告)号:CN116486230A
公开(公告)日:2023-07-25
申请号:CN202310433523.4
申请日:2023-04-21
Applicant: 哈尔滨工业大学(威海) , 长江时代通信股份有限公司
Abstract: 本申请实施例公开了一种基于半递归特征金字塔结构的图像检测方法及存储介质,涉及深度学习图像检测技术领域,其中方法包括:通过图像采集设备获取实时图像;将实时图像输入到半递归特征金字塔的低语义层生成第一次低语义特征;将第一次低语义特征进行反馈特征选取操作,生成反馈特征;将反馈特征和实时图像再次输入到低语义层进行递归计算得到第二次低语义特征;将第一次低语义特征和第二次低语义特征分别输入到半递归特征金字塔的高语义层进行下采样,得到两次高语义特征;将第一次低语义、第二次低语义特征和两次高语义特征分别进行对应层的融合,生成用于预测的特征,利用自适应检测头进行多级预测,得到预测结果并进行可视化展示。
-
公开(公告)号:CN113761936B
公开(公告)日:2023-04-07
申请号:CN202110953670.5
申请日:2021-08-19
Applicant: 哈尔滨工业大学(威海) , 长江时代通信股份有限公司
IPC: G06F40/30 , G06F16/35 , G06F40/117 , G06N3/047 , G06N3/0464 , G06N3/048 , G06N3/08
Abstract: 本发明提供一种基于多头自注意力机制的多任务篇章级事件抽取方法,包括如下步骤:将单一句子级事件抽取转换为打包句子集合的篇章级事件抽取;利用预训练的语言模型BERT模型进行词嵌入表示;对单句中所有单词嵌入和位置嵌入作为输入,利用卷积神经网络模型进行编码,结合分段最大池策略捕获句子内部的最有价值的特征;利用多头自注意力模型,获得融合全文语义信息的篇章表示和注意力权重;利用分类器得到预测的事件类型;利用事件类型作为先验信息,链接到事件元素提取的输入序列中,利用预训练模型结合机器阅读理解方法提取序列中所有相关元素。本发明可用于篇章级事件抽取任务,实现了将序列标注问题转换为机器阅读理解问题的突破。
-
公开(公告)号:CN119201758A
公开(公告)日:2024-12-27
申请号:CN202411732178.5
申请日:2024-11-29
Applicant: 长江时代通信股份有限公司
IPC: G06F11/36
Abstract: 本发明公开了一种基于浏览器插件的可视化网页可用性测试报告生成方法,方法步骤包括:打开待测试的网页,并启用可用性测试插件;由可用性测试插件实时采集用户在网页上的操作行为以及网页的响应数据作为待处理数据;利用可用性测试插件对本地存储的待处理数据进行分析;根据用户的设定内容以及可用性分析结果生成可用性测试报告。该可视化网页可用性测试报告生成方法通过将采集的待处理数据进行本地存储,能够有效保证数据处理的效率以及数据的安全性,减少用户数据泄露的风险;通过收集用户在网页上的操作行为以及网页的响应数据进行双向数据收集,使得可用性测试更加符合用户使用需要,具有较好的测试针对性。
-
公开(公告)号:CN118411990A
公开(公告)日:2024-07-30
申请号:CN202311304628.6
申请日:2023-10-09
Applicant: 长江时代通信股份有限公司
IPC: G10L15/26 , G10L15/22 , G10L15/18 , G10L13/08 , G10L15/16 , G06F16/332 , G06Q30/01 , G06F16/33 , G06F16/335
Abstract: 本发明公开了一种基于可持续学习的智能客服回访系统及方法,属于人工智能和客服领域。本发明通过构建专家系统、知识库、语音交互和自然语言处理模块,实现智能、自动化并可持续学习的客户回访和服务。本发明通过语音识别模块,实现语音信号到文本的转换,文本再通过语音合成模块转换为语音信号输出;这两者构成了完整的语音交互链路。接着,基于词向量和文本编码算法,将文本数据映射为数值向量表示,图像数据也通过卷积神经网络获得向量表示,完成多模态数据的向量化。在获得向量化表示的数据基础上,本发明构建了专家系统模块,运用基于知识图谱的问答匹配技术,准确解析用户需求及意图,实现对自然语言的深入理解。同时,依托预先构建的知识库,提供问答型对话服务。而对于无法匹配的问题,本发明使用基于Seq2Seq框架的聊天机器人技术实现流畅的开放域对话。此外,本发明还会分析用户对对话服务的反馈,持续更新完善知识库,实现系统能力的可持续进化。
-
-
-
-
-
-
-
-
-