公开(公告)号：CN113793345A

公开(公告)日：2021-12-14

申请号：CN202111042489.5

申请日：2021-09-07

Applicant: 复旦大学附属华山医院

Inventor： 李郁欣 ,  曹加旺 ,  刘学玲 ,  冯瑞 ,  耿道颖

IPC: G06T7/11 ,  G16H30/20 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种图像处理方法、装置、计算机设备及存储介质。该方法包括：获取目标图像的目标张量数据；将目标张量数据输入至目标神经网络模型，目标神经网络模型包括编码器、解码器和注意力模块；编码器用于根据目标张量数据进行降采样，得到第一特征矩阵；注意力模块用于根据第一特征矩阵进行空洞卷积，得到第二特征矩阵；根据第二特征矩阵确定原始注意力图；根据原始注意力图确定空洞注意力图；根据第一特征矩阵和空洞注意力图确定第三特征矩阵；将第三特征矩阵输出值解码器；解码器用于根据第三特征矩阵进行上采样，得到图像分割结果；根据目标神经网络模型的输出进行目标图像的分割反馈。能够提高图像分割的准确性。

公开(公告)号：CN113239948A

公开(公告)日：2021-08-10

申请号：CN202110270383.4

申请日：2021-03-12

Applicant: 复旦大学

Inventor： 徐杰 ,  梁晨晨 ,  刘天弼 ,  冯瑞

IPC: G06K9/62 ,  G06K9/00 ,  G01S13/86 ,  G01S13/89 ,  G06T5/50 ,  G06T7/13 ,  G06T7/33 ,  G06T7/62 ,  G06T7/73

Abstract: 本发明提供一种面向毫米波雷达与视频图像的数据融合方法及系统，其方法包括以下步骤：步骤S1，建立含有黑色幕布以及在该黑色幕布前根据预定距离等距平行设置有等长的n个白色木棍的检测场景；步骤S2，通过毫米波雷达对检测场景进行检测，得到n个白色木棍在雷达坐标系中x轴与y轴上的坐标值；步骤S3，通过摄像头对检测场景进行拍摄得到木棍图像；步骤S4，对木棍图像进行数字图像处理得到n个白色木棍在木棍图像中的坐标值作为该白色木棍在图像坐标系中y轴与z轴上的坐标值；步骤S5，根据预定距离、白色木棍在雷达坐标系中以及在图像坐标系中的坐标值，将雷达坐标系以及图像坐标系基于y轴进行映射从而完成雷达坐标系以及图像坐标系的融合。

公开(公告)号：CN113205566A

公开(公告)日：2021-08-03

申请号：CN202110442107.1

申请日：2021-04-23

Applicant: 复旦大学 ,  珠海复旦创新研究院

Inventor： 王海林 ,  冯瑞

IPC: G06T11/00 ,  G06N3/04 ,  G06N3/08 ,  G06T7/33 ,  G16H30/20

Abstract: 本发明提供一种基于深度学习的腹部三维医学影像转换生成方法，用于实现由腹部MRI影像转换为腹部CT影像的跨模态影像转换，包括如下步骤：步骤S1，对已有训练集中的真实MRI影像和真实CT影像进行三维医学配准，得到配准影像；步骤S2，将配准影像输入用于图像转换的三维深度学习模型进行模型训练，得到训练后的三维深度学习模型；步骤S3，将需要进行转换的腹部MRI影像输入训练后的三维深度学习模型，得到同一部位的相应的CT影像。本发明能够用于患者因各种原因(如担心辐射等)只进行了MRI拍摄而没有进行CT拍摄时帮助医生进行辅助诊断，为医生提供更多可用的医学诊断影像作为判断依据。

公开(公告)号：CN111629264B

公开(公告)日：2021-07-27

申请号：CN202010485289.6

申请日：2020-06-01

Applicant: 复旦大学

Inventor： 刘天弼 ,  冯瑞

IPC: H04N21/44 ,  H04N21/4402 ,  H04N21/6437 ,  H04N21/8547 ,  H04N7/18

Abstract: 本发明提供一种基于web的分离式前端图像渲染方法，其特征在于，用于让客户端根据web服务器输出的渲染元素以及摄像头采集的视频数据渲染结合成客户端所要显示的前端图像，渲染元素由算法服务器基于视频数据处理生成并发送给web服务器，包括如下步骤：步骤S1，将web服务器输出的渲染元素做标准化操作；步骤S2，计算算法侧视频数据到达时延；步骤S3，计算算法执行时间、算法结果传输时间、服务器处理时间以及渲染传输时间；步骤S4，计算户侧视频数据到达时延；步骤S5，客户端对摄像头传输的视频数据进行解析，并计算渲染元素与视频数据到达的时间差，进一步基于该时间差获取与渲染元素对应帧的视频数据并在显示界面上做逐帧渲染展示。

公开(公告)号：CN113095453A

公开(公告)日：2021-07-09

申请号：CN202110363316.7

申请日：2021-04-02

Applicant: 复旦大学

Inventor： 黄波 ,  冯瑞

IPC: G06K17/00 ,  G06K9/00 ,  G16H40/20 ,  G16H40/67 ,  G16H10/60 ,  G16H10/20 ,  H04W76/10 ,  G10L15/26 ,  H04N7/18

Abstract: 本发明提供一种能够优化电子伤票建立流程、并且能够辅助医护人员进行伤员分类、帮助快速准确的将伤员接收分类和转运，从而提高战场伤员救治效率的面向伤员分类后送的伤员预处理系统，其特征在于，包括：多个手持终端，设置在用于将所述伤员运送至救护所的救护车中；视频监控设备，设置在救护所入口处；若干医护终端，由医护人员持有；以及服务器，与所述视频监控设备、医护终端分别相通信连接，并通过CDMA通信网络与所述手持终端相通信连接，其中，所述手持终端具有扫描识别部、伤员信息录入部以及CDMA通信部，所述服务器具有伤员数据更新部、伤员数据存储部、收容去向判定部、人脸识别部以及服务侧通信部。

公开(公告)号：CN106980116B

公开(公告)日：2021-06-22

申请号：CN201710226448.9

申请日：2017-04-09

Applicant: 复旦大学

Inventor： 陈方飞 ,  冯瑞

IPC: G01S13/89 ,  G06T7/70 ,  G06T7/277

Abstract: 本发明属于数字图像处理技术领域，具体为一种基于Kinect摄像头的高精度室内人物测距方法。本发明实现的硬件配置为一台Kinect v2体感摄像机，一台有USB3.0的PC机，PC机处理器Core‑i3以上，PC机中操作系统为Windows 8或以上版本。本发明首先从Kinect体感摄像机中获取人体主要骨骼三维位置数据，再根据标定过的位置数据模型对获取的骨骼位置数据拟合校准，然后根据每个骨骼点处历史位置数据通过卡尔曼滤波器对校准后的位置数据进行平滑处理，通过卡尔曼滤波后的位置数据即为该人体各个骨骼点最终位置信息，通过计算该位置坐标与目标点位置坐标距离，即为人物各个骨骼点相对于目标点距离。通过本发明方法实现的人物测距精度在20mm以内。

公开(公告)号：CN112992155A

公开(公告)日：2021-06-18

申请号：CN202110231097.7

申请日：2021-03-02

Applicant: 复旦大学

Inventor： 张安妮 ,  冯瑞

IPC: G10L17/02 ,  G10L17/04 ,  G10L17/18 ,  G10L17/20 ,  G10L15/04 ,  G06N3/04 ,  G06N3/08 ,  G06K9/62

Abstract: 本发明提供了一种基于残差神经网络的远场语音说话人识别方法及装置，用于在嘈杂混响且有多个说话人的环境下，对短时的待测音频进行远场语音说话人识别从而确定该待测音频对应的说话人，其特征在于，包括如下步骤：对待测音频进行预处理得到预处理短时语音；利用语音活动检测模型对预处理短时语音进行语音分割得到分割结果，并从滤除了噪声以及静音的分割结果中提取得到语音向量特征；基于语音向量特征利用预先训练好的残差神经网络模型进行说话人特征提取得到说话人嵌入向量；基于预定的声音特征库对说话人嵌入向量进行相似度计算得到语音相似度值，根据该语音相似度值确定待测音频对应的说话人。

公开(公告)号：CN112989967A

公开(公告)日：2021-06-18

申请号：CN202110213548.4

申请日：2021-02-25

Applicant: 复旦大学

Inventor： 潘志灏 ,  程颖 ,  冯瑞

IPC: G06K9/00 ,  G10L17/00 ,  G10L17/18 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供了一种基于音视频信息融合的人员身份识别方法，具有这样的特征，包括以下步骤，步骤S1，读入音视频资料的视频信息以及音频信息，对视频信息以及音频信息进行预处理，得到预处理视频信息以及预处理音频信息；步骤S2，将预处理音频信息进行处理，提取出音频特征；步骤S3，将预处理视频信息进行处理，提取出针对预处理视频信息中人员的人脸特征、头部特征以及身体特征；步骤S4，搭建多个MLP神经网络模型，并对多个MLP神经网络模型进行训练以及权值的设定，得到MLP神经网络联合模型；步骤S5，把音频特征、人脸特征、头部特征以及身体特征输入MLP神经网络联合模型，得到判断的类别结果。

公开(公告)号：CN112863538A

公开(公告)日：2021-05-28

申请号：CN202110208096.0

申请日：2021-02-24

Applicant: 复旦大学

Inventor： 何梦雨 ,  程颖 ,  冯瑞

IPC: G10L21/0272 ,  G10L21/0208 ,  G10L25/57 ,  G10L25/30 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供了一种基于视听网络的多模态语音分离方法及装置，用于从待分离音视频中分离出画面中说话人的语音，其特征在于，包括如下步骤：利用第一预处理方法对第一音视频训练数据处理得到第一预处理数据；构建多模态网络模型；将第一预处理数据输入多模态网络模型训练，得到音视频对齐判断模型；利用第二预处理方法对第二音视频训练数据处理得到第二预处理数据；搭建Wave‑U‑Net分割模型，并与音视频对齐判断模型构成视听模型；将第二预处理数据输入视听模型训练，得到视音频分割模型；将待分离音视频输入视音频分割模型得到画面中说话人的语音。其中，将第二预处理数据中的各个子集按照说话人个数由小到大的顺序逐步输入视听模型进行训练。

公开(公告)号：CN112464757A

公开(公告)日：2021-03-09

申请号：CN202011278432.0

申请日：2020-11-16

Applicant: 复旦大学

Inventor： 任静 ,  冯瑞

IPC: G06K9/00 ,  G06F16/901 ,  G06F16/909

Abstract: 本发明提供一种基于高清视频的目标实时定位和轨迹重构方法，用于通过设置在监测地点中各个道路上的摄像头对目标进行定位，其特征在于，包括：步骤S1：将摄像头与道路之间的关系以图结构在数据库中进行存储；步骤S2：获取摄像头拍摄到的视频并对该视频进行目标检测分析，并将分析出的目标人员的人员信息与视频对应的摄像头的编号进行存储记录；步骤S3：利用摄像头对应的位置坐标对目标人员的位置进行实时展示；步骤S4：针对被选定的特定目标人员，根据图结构获取相邻的摄像头的所有视频；步骤S5：通过目标检测分析拍摄到特定目标人员的摄像头的编号；步骤S6：重复步骤S4至步骤S5直到分析不出特定目标人员；步骤S7：对特定目标人员的位置进行展示。