公开(公告)号：CN119228653A

公开(公告)日：2024-12-31

申请号：CN202411746338.1

申请日：2024-12-02

Applicant: 浙江大学

Inventor： 王理程 ,  张香伟 ,  郁强 ,  毛云青 ,  汤斯亮

IPC: G06T3/4053 ,  G06T5/50 ,  G06V40/16 ,  G06V10/82 ,  G06V10/80 ,  G06N3/045 ,  G06N3/0442 ,  G06N3/048 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种应用在视频监控中的人脸超分辨率重建与识别方法及系统，属于深度学习人脸超分辨率重建领域。本发明的方法首先获取实时采集的原始视频流并进行预处理，然后在目标区域内对预处理后的视频流进行人脸位置定位，接着将低分辨率人脸图像输入到训练好的人脸超分辨率重建网络中进行重建，输出重建好的超分辨率人脸图像，最后对重建好的超分辨率人脸图像进行人脸识别，输出人脸识别结果并进行可视化，将识别到的人员进行存储，用于后期审计。本发明旨在通过人脸超分辨率重建网络的强大学习能力，从低质量人脸图像中高效、准确地恢复出高质量的人脸图像，进而为人脸识别系统提供更加清晰可靠的输入，提升整体识别精度和鲁棒性。

公开(公告)号：CN113111241A

公开(公告)日：2021-07-13

申请号：CN202110378191.5

申请日：2021-04-08

Applicant: 浙江大学 ,  同盾控股有限公司

Inventor： 庄越挺 ,  汤斯亮 ,  程广钊 ,  谭炽烈 ,  肖俊 ,  李晓林 ,  蒋韬

IPC: G06F16/9032 ,  G06F16/908 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种博弈对话中基于对话历史和强化学习的多轮对话方法，属于智能体和强化学习模型领域。该方法包括如下步骤：首先将多轮对话作为一个有限重复博弈的过程，存储已经结束的完整多轮对话，构建既往对话历史信息库；然后在一个新的多轮对话中，基于记忆网络构建对手行动估计模型，用当前对话已经进行的轮次去检索对话历史信息库，通过多步估计产生对手下一步策略的估计向量；最后基于编码‑解码模型融合当前对话的信息和估计向量，做出下一步的应答。本发明在多轮对话过程中，将既往对话历史的估计向量和当前对话历史的回应向量进行融合，能够更充分地利用了历史信息，使得对话机器人(智能体)具备更高的适应性、做出更好的应答。

公开(公告)号：CN111241807B

公开(公告)日：2021-06-29

申请号：CN201911423787.1

申请日：2019-12-31

Applicant: 浙江大学

Inventor： 庄越挺 ,  浦世亮 ,  汤斯亮 ,  谭洁 ,  郝雷光 ,  吴飞

IPC: G06F40/205 ,  G06F40/289 ,  G06F40/30 ,  G06N3/04

Abstract: 本发明公开了一种基于知识引导注意力的机器阅读理解方法。该方法包括如下步骤：(1)利用预训练的词嵌入矩阵得到本文序列的词向量；(2)利用双向GRU网络来对文本中每个单词的上下文信息进行建模；(3)将问题的上下文表示作为初始隐藏层状态输入到单向GRU网络，GRU网络使用基于注意力的回看机制迭代地执行搜索步骤以收集文章中可能用于预测答案的信息；(4)将外部知识作为长期记忆加入回看机制，在回看过程中来引导注意力的焦点，模型会重新分配注意力分数；(5)在单向GRU网络的输出端经过指针网络得到预测的答案。本发明是一个端到端的模型，不需要未标注语料集中除预训练好的词向量之外的数据预处理，因此本发明能在不同的语言和领域的阅读理解中有广泛应用。

公开(公告)号：CN112036512B

公开(公告)日：2021-03-26

申请号：CN202011212294.6

申请日：2020-11-03

Applicant: 浙江大学 ,  城云科技(中国)有限公司

Inventor： 庄越挺 ,  汤斯亮 ,  肖俊 ,  丁亚东 ,  郁强 ,  蒋忆

IPC: G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于网络裁剪的图像分类神经网络架构搜索方法和装置。该方法首先构建神经网络架构搜索的超网络，提出用非标准化的强度因子去拟合网络架构的参数进行学习；然后对学习到的非标准化的强度因子进行按照提供的标准进行网络裁剪，以得到最优的网络架构。本发明在图像分类任务中可以使用较少的参数达到到相对于其他方法更好的性能。

公开(公告)号：CN112347965A

公开(公告)日：2021-02-09

申请号：CN202011280036.1

申请日：2020-11-16

Applicant: 浙江大学 ,  同盾控股有限公司

Inventor： 庄越挺 ,  肖俊 ,  汤斯亮 ,  吴飞 ,  杨易 ,  李晓林 ,  谭炽烈 ,  蒋韬

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04

Abstract: 本发明公开了一种基于时空图的视频关系检测方法和系统。首先，将视频中的实体集合和它们之间的关系建模为一个全连接的时空图，该图包括时间和空间维度邻域中的实体节点。对于关系检测，本发明提出了一种视频关系检测图卷积网络模型(VRD‑GCN)，用于从上下文中聚合信息并在此时空图中进行推理。一方面，VRD‑GCN通过捕捉实体在时空维度上的几何和外观的相对变化来检测实体之间的动态关系。另一方面，通过将时空图中邻域中的节点和上下文的消息传递给目标实体，VRD‑GCN能够产生更准确和完整的检测结果。在检测到视频片段中的关系实例后，用一种使用孪生网络的在线关联方法将整个视频中的短期关系实例合并。该方法对于视频中的关系检测准确率高。

公开(公告)号：CN112036170A

公开(公告)日：2020-12-04

申请号：CN202010918084.2

申请日：2020-09-03

Applicant: 浙江大学

Inventor： 庄越挺 ,  汤斯亮 ,  高明合 ,  勒一凡 ,  任彦昆 ,  谭炽烈 ,  蒋韬

IPC: G06F40/279 ,  G06F16/35 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于类型注意力的神经零样本细粒度实体分类方法，具体为：基于目标实体文本中各单词对应的单词向量，计算目标实体文本表示向量；基于句子中目标实体文本两侧各单词分别对应的语境单词向量，获取目标实体文本的基础语境向量；基于目标实体文本中各实体对应的类型，构建实体类型向量；基于目标实体类型向量及基础语境向量，计算两侧单词分别对应的相关注意力值；基于相关注意力值及基础语境向量，计算目标实体文本的相关语境向量；合并目标实体文本的实体表示向量和相关语境向量，获取整个句子的表示向量，利用已创建的实体类型分类器模型，获取目标实体文本属于各给定类别的分值，并有效改善实体细粒度分类的效果。

公开(公告)号：CN108287911B

公开(公告)日：2020-04-24

申请号：CN201810103633.3

申请日：2018-02-01

Applicant: 浙江大学

Inventor： 汤斯亮 ,  张金剑 ,  袁愈锦 ,  吴飞 ,  庄越挺

IPC: G06F16/36 ,  G06F16/35 ,  G06F40/205

Abstract: 本发明公开了一种基于约束化远程监督的关系抽取方法，包括如下步骤：(1)构建外部知识库；(2)获取文本数据；(3)使用远程监督方法获取包含属性的句子；(4)使用预训练的模型获取句子的置信度信息；(5)用置信度信息规则化网络，计算规范化后验概率，得到关系标签。本发明提出了一种基于约束化远程监督的关系抽取方法，使用远程监督的方法利用现有的知识库，自动生成训练数据，并采用一些优化方法清洗训练数据，从而省去人工标注的部分繁琐工作。本发明还使用规则化后验概率的方法来自动提取文本句子的特征，省去人工工作的同时，提取到更为抽象和更具表达力的特征。该方法在效果上优于传统的关系抽取算法和近年来的一些主流的方算法。

公开(公告)号：CN106570148B

公开(公告)日：2019-07-23

申请号：CN201610968810.5

申请日：2016-10-27

Applicant: 浙江大学

Inventor： 汤斯亮 ,  吴飞 ,  张金剑 ,  蒋焕剑 ,  庄越挺 ,  鲁伟明

IPC: G06F16/35

Abstract: 本发明公开了一种基于卷积神经网络的属性抽取方法。包括如下步骤：(1)构建外部知识库；(2)获取文本数据；(3)使用远程监督方法获取包含属性的句子；(4)利用词向量方法获取句子进行向量化；(5)将句子输入卷积神经网络，进行训练和分类。本发明结合远程监督和卷积神经网络模型，利用外部知识库，基于人工定义的映射，在非结构化的文本数据集上提取包含属性候选句，结合卷积神经网络模型，对句子关系进行分类，完成属性抽取任务。

公开(公告)号：CN108304552A

公开(公告)日：2018-07-20

申请号：CN201810102597.9

申请日：2018-02-01

Applicant: 浙江大学

Inventor： 汤斯亮 ,  杨希远 ,  林升 ,  陈博 ,  吴飞 ,  庄越挺

IPC: G06F17/30 ,  G06F17/22

Abstract: 本发明公开了一种基于知识库特征抽取的命名实体链接方法。该方法包括如下步骤：(1)从Freebase data dump中抽取具有指定特征的三元组条目，形成关系数据表，存入知识库；(2)设计复杂的规则，在知识库中搜寻若干个与实体提及关系紧密的Freebase Object作为候选实体；(3)采用基于统计的方法，设计并抽取实体提及与其候选实体的特征，并对上述特征进行Embedding化；(4)将抽取特征的Embedding作为一个多层的神经网络的输入，获取每个候选实体为目标实体的概率，并返回概率最高的候选实体的Freebase MID。本发明结合了基于复杂规则的候选生成技术和基于统计学习的候选排序技术，针对特定类型的命名实体，建立了一套适用于实体链接的处理框架，方便用户使用批处理的方式获取实体链接的结果。

公开(公告)号：CN104484347B

公开(公告)日：2018-06-05

申请号：CN201410706281.2

申请日：2014-11-28

Applicant: 浙江大学

Inventor： 汤斯亮 ,  吴飞 ,  李子健 ,  邵健 ,  鲁伟明 ,  庄越挺

IPC: G06F17/30

Abstract: 本发明公开了一种基于地理信息的层次化视觉特征提取方法。包括如下步骤：1)编写爬虫程序下载照片分享网站中的图像及其地理信息；2)利用图像词袋模型表达图像特征；3)结合地理信息，应用半监督主题建模方法将图像视觉单词按照视觉主题的形式组织起来；4)挖掘视觉主题的层次化特性，获取在不同尺度和侧面对特定地理位置进行描述的视觉特征；5)利用获取的层次化视觉特征，对图像进行聚类、分类和检索。本发明结合层次化主题建模和半监督学习，将图像高维视觉单词凝练成具有代表性的视觉主题，并将地理信息引入主题建模过程中，学习得到一个层次化视觉主题模型，将图像表示成多个视觉主题上的分布，据此获得了更具有语义表达能力的层次化视觉特征。