基于文本匹配和孪生网络的多模态敦煌残卷缀合方法

    公开(公告)号:CN117953504A

    公开(公告)日:2024-04-30

    申请号:CN202410163630.4

    申请日:2024-02-05

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于文本匹配和孪生网络的多模态敦煌残卷缀合方法,具体过程为:使用二值化和闭合操作,提取待缀合的原始敦煌残卷图像蒙版和轮廓,利用训练好的自监督孪生网络进行原始敦煌残卷图像的配对;利用基于文本的定位方法对原始敦煌残卷图像进行光学字符识别,提取文本内容以计算原始敦煌残卷图像的候选位置;使用多模态流程,结合文本匹配和轮廓匹配提高匹配的准确率;使用图搜索的思想,对原始敦煌残卷图像进行全局拼合。本发明能够应用在敦煌残卷缀合场景,以及古代语言学和社会研究领域,为古代语言学和社会研究领域研究提高效率。

    一种水下钢结构表面海生物清洗机器人及其全景成像系统

    公开(公告)号:CN110341910B

    公开(公告)日:2020-12-25

    申请号:CN201910553416.9

    申请日:2019-06-25

    Applicant: 浙江大学

    Abstract: 本发明涉及一种水下钢结构表面海生物清洗机器人及其全景成像系统,属于深海作业机器人技术领域。洗机器人包括反射式全景成像系统;反射式全景成像系统包括通过安装支架支撑的反射镜及摄像头;反射镜通过摆动驱动轴而可摆动地安装在安装支架上,安装支架上安装有摆动驱动装置,安装支架为升降式支架;在控制作业系统进行清洗作业的过程中,控制升降式支架调整反射镜与机架之间的间距,及控制摆动驱动装置调整反射镜的摆角,以改变摄像头所接收到影像的视野区域。可清洗作业过程中,调整反射镜的摆角而改变其视野区域范围,而无需移动机器人以观察当前作业区之外的场景,其可广泛应用于海洋石油管道等钢结构表面清洗等领域。

    一种敦煌垂直领域大模型训练方法、系统、介质及设备

    公开(公告)号:CN119322830A

    公开(公告)日:2025-01-17

    申请号:CN202411349613.6

    申请日:2024-09-26

    Applicant: 浙江大学

    Abstract: 本发明公开了一种敦煌垂直领域大模型训练方法、系统、介质及设备,属于人工智能领域和文化领域。本发明通过整理敦煌大辞典、敦煌概论、敦煌18讲等敦煌垂直领域知识,形成了敦煌指令微调数据和“关键词‑解释”的字典类向量知识库,通过继续预训练、有监督微调、外挂向量知识库等步骤,训练出了面向文化旅游和语言专家的敦煌垂直领域大模型。进而提出PhiloCoP框架,以便于敦煌垂直领域大模型的应用。本发明为敦煌爱好者和考古学家提供了更便利的查询知识和辅助研究的工具,有助于在更大范围内更便捷的宣传敦煌文化,能够应用在古代语言学研究领域和旅游场景。

    一种水下钢结构表面海生物清洗机器人及其全景成像系统

    公开(公告)号:CN110341910A

    公开(公告)日:2019-10-18

    申请号:CN201910553416.9

    申请日:2019-06-25

    Applicant: 浙江大学

    Abstract: 本发明涉及一种水下钢结构表面海生物清洗机器人及其全景成像系统,属于深海作业机器人技术领域。洗机器人包括反射式全景成像系统;反射式全景成像系统包括通过安装支架支撑的反射镜及摄像头;反射镜通过摆动驱动轴而可摆动地安装在安装支架上,安装支架上安装有摆动驱动装置,安装支架为升降式支架;在控制作业系统进行清洗作业的过程中,控制升降式支架调整反射镜与机架之间的间距,及控制摆动驱动装置调整反射镜的摆角,以改变摄像头所接收到影像的视野区域。可清洗作业过程中,调整反射镜的摆角而改变其视野区域范围,而无需移动机器人以观察当前作业区之外的场景,其可广泛应用于海洋石油管道等钢结构表面清洗等领域。

    基于组合优化和多模态大模型的可缀合敦煌残片筛选方法

    公开(公告)号:CN118570540A

    公开(公告)日:2024-08-30

    申请号:CN202410707617.0

    申请日:2024-06-03

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于组合优化和多模态大模型的可缀合敦煌残片筛选方法,具体过程为:使用基于卷积神经网络的变体ResNet18的孪生神经网络,提取敦煌残片的特征向量,预测残片对的匹配程度分数,将匹配程度分数大于阈值的敦煌残片对构成无向图,使用融合了最优传输层的图神经网络进行可拼合小残片集合的筛选,并将可缀合的敦煌残片候选拼接集合和预定义的提示词输入多模态大语言模型来判断错误残片,在无向图中剔除错误残片对应的顶点和边,重新筛选得到可拼合的新的候选拼接集合。本发明能够应用在敦煌小残片缀合场景,以及古代语言学和社会研究领域,为古代语言学和社会研究领域研究提高效率。

    基于视觉的敦煌残卷缀合数据集构建及增强方法

    公开(公告)号:CN118037591A

    公开(公告)日:2024-05-14

    申请号:CN202410293546.4

    申请日:2024-03-14

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于视觉的敦煌残卷缀合数据集构建及增强方法,对由于相机拍摄尺寸受限从而对敦煌残卷图像切分拍摄的情况进行拼接,使其还原为长卷图像,对同一馆藏编号中对应多个碎片的情况进行手动切分,重新编号;对彩色碎片根据提供的标准色卡进行色彩矫正,对灰度碎片进行灰度值拉伸,对所有提供比例尺的碎片进行尺度归一化,保证所有碎片大小保持在同一尺度下;通过图像二值化方法提取预处理碎片的黑白掩膜,进而得到最外围边缘;通过传统几何变换法、基于边缘特点的局部随机法、仿真模拟撕碎法以及基于扩散模型的提示学习法进行数据增强。本发明实现数据预处理的全自动化,并借助各种数据增强方法,进一步提升数据集的鲁棒性和多样性。

Patent Agency Ranking