公开(公告)号：CN117711047A

公开(公告)日：2024-03-15

申请号：CN202311729854.9

申请日：2023-12-14

Applicant: 上海交通大学

Inventor： 王士林 ,  杨磊 ,  何怡 ,  王晗亦 ,  陆千禧 ,  张凯旋

IPC: G06V40/16 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/0499 ,  G06N3/084

Abstract: 本发明提供了一种中文唇语识别方法及系统，包括：对讲话视频进行预处理，得到连续的嘴唇区域图像序列；将嘴唇区域图像序列输入到唇部区域特征编码器中，得到唇部区域特征编码向量；将视频特征编码向量、拼音中间表征编码向量、视位中间表征编码向量输入到中文讲话内容解码器中，解码得到中文汉语句子的讲话内容；根据拼音中间表征序列预测损失、视位中间表征序列预测损失和中文讲话内容预测损失，按比例加权后对唇语识别模型进行优化。本发明通过采用汉语拼音和视位作为多中间表征，使唇语识别模型从多角度提取视觉特征信息和语义特征信息，解决唇语识别模型无法有效利用视频中唇部区域的视觉信息的问题，提高唇语识别模型的识别性能和泛化能力。

公开(公告)号：CN112395631B

公开(公告)日：2022-09-20

申请号：CN202011367300.5

申请日：2020-11-27

Applicant: 上海交通大学

Inventor： 赵皓东 ,  刘功申 ,  张凯旋 ,  熊渊淳 ,  梁力佳

IPC: G06F21/60 ,  G06F21/62

Abstract: 本发明提供了一种基于SGX技术的安全数据库系统、方法及介质，包括：步骤M1：基于SGX技术，服务器端通过远程认证服务器验证客户端是可信的远程实体，将服务器端与客户端建立经过认证的通信通道，客户端能够安全地向服务器端传输数据；步骤M2：当服务器没有接受连接请求或需要关闭维护时，通过SGX技术将客户端的数据进行密封迁移，将数据库文件以密文形式进行存储。通过本发明可以确保数据存储的机密性，即便被第三方窃取数据库也无法解密其中的内容。

公开(公告)号：CN112395631A

公开(公告)日：2021-02-23

申请号：CN202011367300.5

申请日：2020-11-27

Applicant: 上海交通大学

Inventor： 赵皓东 ,  刘功申 ,  张凯旋 ,  熊渊淳 ,  梁力佳

IPC: G06F21/60 ,  G06F21/62

Abstract: 本发明提供了一种基于SGX技术的安全数据库系统、方法及介质，包括：步骤M1：基于SGX技术，服务器端通过远程认证服务器验证客户端是可信的远程实体，将服务器端与客户端建立经过认证的通信通道，客户端能够安全地向服务器端传输数据；步骤M2：当服务器没有接受连接请求或需要关闭维护时，通过SGX技术将客户端的数据进行密封迁移，将数据库文件以密文形式进行存储。通过本发明可以确保数据存储的机密性，即便被第三方窃取数据库也无法解密其中的内容。

公开(公告)号：CN117558064A

公开(公告)日：2024-02-13

申请号：CN202311629756.8

申请日：2023-11-30

Applicant: 上海交通大学

Inventor： 王士林 ,  张凯旋 ,  王晗亦 ,  杨磊 ,  陆千禧 ,  何怡

IPC: G06V40/20 ,  G06V10/44 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G10L17/18

Abstract: 本发明提供了一种开集场景下防深度伪造的讲话人认证系统及方法，包括：特征提取模块：将讲话人说某个单词的唇部视频进行预处理得到滑动窗口视频组，基于滑动窗口视频组分别进行静态特征提取和动态特征提取，得到每个滑窗的静态特征和动态特征；再将静态特征和动态特征与时序融合得到视频的最终特征；其中，训练时利用静态特征提取模块中的重构损失、动态特征提取模块中的滑窗顺序预测损失和最终特征的认证损失进行监督，得到优化后的网络参数；推理时利用静态特征提取器、动态特征提取器和特征融合模块得到视频的最终特征；特征认证模块：利用用户的原型特征对视频的最终特征进行认证。