公开(公告)号：CN116048542B

公开(公告)日：2023-10-31

申请号：CN202310098795.3

申请日：2023-02-11

Applicant: 之江实验室

Inventor： 王瑾 ,  莫瞰涯 ,  叶玥 ,  程乐超

IPC: G06F8/60 ,  G06F9/50 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种计算机视觉深度学习模型的优化部署方法与装置，所述方法和装置核心为模型优化服务和模型部署服务两个模块。模型优化服务模块可将训练好的模型通过IR中间表示)转换为适配目标推理引擎及硬件设备的框架格式，提升推理性能。模型部署服务模块支持本地部署和在线部署两种方式，其中本地部署是指将待部署模型文件封装为SDK，下载至本地设备进行端侧推理；在线部署是指将待部署模型文件在云端服务器部署，开放接口供用户调用推理服务，本发明通过构建完整的模型优化和部署服务流程与装置，降低深度学习模型部署的复杂度，对多种模型网络架构、推理引擎的扩充兼容，使本公开实施例更具灵活性和可拓展性。

公开(公告)号：CN116434968B

公开(公告)日：2023-08-25

申请号：CN202310699832.6

申请日：2023-06-14

Applicant: 之江实验室 ,  北京肿瘤医院

Inventor： 胡丹青 ,  吴楠 ,  程乐超 ,  刘冰

IPC: G16H50/70 ,  G06F18/22 ,  G06F18/241 ,  G06F18/231 ,  G06N3/0455 ,  G06N3/048 ,  G06N3/047 ,  G06N3/082

Abstract: 本发明公开了一种层级聚类约束的多标签细粒度术后并发症预测装置，属于医疗数据挖掘领域，包括：根据医学先验知识将多种细粒度术后并发症分类成不同系统并发症，并构建每个系统并发症的层次聚类图；构建预测模型，包括底层网络、次层网络、中间网络、预测网络；构建损失函数，包括基于次层隐藏特征预测的整体并发症概率和各细粒度术后并发症概率构建的预测损失、自下而上的层级约束损失和自上而下的层级约束损失；基于损失函数对预测模型进行参数优化；利用优化的预测模型进行术后并发症预测。该装置通过引入层级聚类图构建网络架构，进而预测精准度。

公开(公告)号：CN115471875B

公开(公告)日：2023-03-03

申请号：CN202211341654.1

申请日：2022-10-31

Applicant: 之江实验室

Inventor： 程乐超 ,  郭恒康 ,  宋杰

IPC: G06V40/10 ,  G06V40/20 ,  G06V10/82 ,  G06V10/774 ,  G06V10/762 ,  G06V10/74

Abstract: 本发明一种多码率的行人识别视觉特征编码压缩方法和装置，所述方法包括下列步骤：1）行人视觉特征提取；2）行人视觉特征压缩编码；3）视觉特征编码解压重建；4）行人重识别。通过在智能安保系统的终端设备部署步骤1）、2），在智能安保服务的中心设备部署步骤3）、4），同时利用网络作为传输媒介从终端设备传输特定码率的内容到服务的中心设备，可以实现智能安保系统中的行人重识别任务，提高安保工作的效率，提高识别精度，减少人工需求。

公开(公告)号：CN115512169A

公开(公告)日：2022-12-23

申请号：CN202211395308.1

申请日：2022-11-09

Applicant: 之江实验室

Inventor： 张鼎文 ,  薛文灏 ,  张晓 ,  程乐超 ,  方超伟 ,  韩军伟

IPC: G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06V20/70 ,  G06V10/26

Abstract: 本发明公开了基于梯度和区域亲和力优化的弱监督语义分割方法及装置，本方法提出的基于视觉Transformer的弱监督语义分割框架，可以保留精确的图像结构信息，反映像素间长距离语义关联。本发明从自注意力模块中提取梯度加权的类相关物体定位图和区域亲和度关联图，用于优化通过Transformer分类网络生成的类激活图，可以有效扩大激活区域，并使用显著性约束提高激活区域的边界质量，缓解边界被错误划分现象，为分割模型提供高质量的物体定位图；在类激活图中广泛使用的二值交叉熵(BCE)损失使CAM中每个像素可以响应于同一感受野中出现的多个类别，是造成像素标注错误的重要原因。

公开(公告)号：CN114863193B

公开(公告)日：2022-12-02

申请号：CN202210794485.0

申请日：2022-07-07

Applicant: 之江实验室

Inventor： 程乐超 ,  方超伟 ,  李根

IPC: G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06N3/08

Abstract: 本发明公开了基于混合批归一化的长尾学习图像分类、训练方法及装置，训练方法通过构建混合标准化分支和分裂标准化分支，得到对应标准化后的特征向量，再通过双分支学习框架，将经强增强和弱增强的样本图像输入标准化分支后，进行图像分类，通过分类结果计算两个分支分类预测的相似性最大化损失以及用平衡交叉熵损失来计算分类损失，优化双分支框架对应的网络参数。混合标准化分支能够更全面地对特征空间进行建模，减轻头部类的主导地位，分裂标准化分支能够多样化估计高斯分布，使高斯分布更全面地拟合尾部类别的训练样本，图像分类方法及装置则是利用训练好的混合标准化分支进行图像分类。

公开(公告)号：CN114663774B

公开(公告)日：2022-12-02

申请号：CN202210565928.9

申请日：2022-05-24

Applicant: 之江实验室

Inventor： 程乐超 ,  田海滨 ,  方超伟 ,  张鼎文

IPC: G06V20/10 ,  G06V10/40 ,  G06V10/77 ,  G06V10/774 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种轻量级的显著性物体检测系统及方法，用以解决对实时性要求较高或者计算资源有限的场景下的显著性物体检测问题。基于轻量级设计原则，该方法采用自主设计的主干网络和简单的特征融合方式以及上下文信息提取结构来构造低计算能力设备场景下的轻量级显著性物体检测模型。为提升模型的精度和鲁棒性，该方法提出适用于显著性物体检测的马赛克数据增广方式和周期性多尺度训练方法，采用知识蒸馏方式对主干网络在分类任务场景下进行预训练，用以提高模型的泛化能力。为了进一步压缩模型，本发明还采用模型剪枝算法和模型量化算法对所设计模型进行压缩，可以在原有模型精度没有损失的条件下提升推理速度。

公开(公告)号：CN115082840B

公开(公告)日：2022-11-15

申请号：CN202210980779.2

申请日：2022-08-16

Applicant: 之江实验室

Inventor： 卢修生 ,  赵思成 ,  程乐超 ,  苏慧 ,  宋明黎

IPC: G06V20/40 ,  G06V10/80 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了基于数据组合和通道相关性的动作视频分类方法和装置，包括以下步骤：步骤S1：从输入视频中提取连续采样视频帧；步骤S2：利用数据组合操作构建融合视频帧；步骤S3：利用所提出的网络模型提取视频深度特征；步骤S4：利用视频深度特征计算通道相关性矩阵；步骤S5：将通道相关性矩阵作用于视频深度特征并进行特征融合，得到融合后特征；步骤S6：所述融合后特征经过全连接层进行分类，再通过均匀融合得到输入视频的分类结果。本发明通过数据组合操作将相邻视频帧信息进行融合，从而巧妙利用视频中的2D空域卷积实现了短时运动建模。此外本发明通过计算各特征通道之间的相关性，实现了各通道之间的信息交互，达到了更好地建模效果。

公开(公告)号：CN114882325A

公开(公告)日：2022-08-09

申请号：CN202210812617.8

申请日：2022-07-12

Applicant: 之江实验室

Inventor： 程乐超 ,  李冠彬 ,  王阔

IPC: G06V10/774 ,  G06V10/778 ,  G06V20/70

Abstract: 本发明公开了基于二阶段物体检测器的半监督物检测及训练方法、装置，在半监督物体检测中，IoU匹配在训练阶段起到了筛选候选框和标注候选框的作用。由于伪标签无法囊括所有的前景物体，导致筛选候选框时，仅能选取到较为简单的前景物体。被错误分类为背景的前景物体，难以参与到训练中。此外，由于伪标签也存在着错误，导致IoU匹配对候选框进行错误标注，而错误的伪标签，将导致所有与其重合度较高的候选框产生标注错误问题。本发明通过构建合理选择机制和动态阈值化机制，分别解决了IoU匹配中的筛选和错误标注问题。本发明实现方法简便，手段灵活，在匹配方面具有优势，因此提升了半监督物体检测的效果。

公开(公告)号：CN114331849B

公开(公告)日：2022-06-10

申请号：CN202210250052.9

申请日：2022-03-15

Applicant: 之江实验室

Inventor： 程乐超 ,  王良 ,  方超伟 ,  张鼎文

IPC: G06T3/40 ,  G06N3/04 ,  G06V10/80 ,  G06V10/82

Abstract: 本发明提出了一种跨模态核磁共振超分网络及图像超分辨率方法，通过引入T1WI核磁共振图像作为辅助信息重建高分辨率T2WI图像，实现不同模态之间的信息交流与互补，显著提高信息的融合能力，加强特征表达。将T2WI模态图像的低高频信息重建任务分而治之，利用卷积的局部感知特性及可变形网络的全局感知特性来加强网络对特征的感受能力，有效提升高频信息的重建效果。设计的模态间多头注意力模块，利用空间特征自相似性来有效融合特征非局部信息，有效提高模型泛化性。

公开(公告)号：CN114332544B

公开(公告)日：2022-06-07

申请号：CN202210244194.4

申请日：2022-03-14

Applicant: 之江实验室

Inventor： 苏慧 ,  程乐超 ,  杨非 ,  鲍虎军 ,  宋明黎

IPC: G06V10/764 ,  G06V10/774 ,  G06K9/62

Abstract: 本发明公开了一种基于图像块评分的细粒度图像分类方法和装置，包括以下步骤：步骤S1：构建分类数据集；步骤S2：构建局部标识；步骤S3：构建分类标识；步骤S4：获得图像分类特征信息和各个图像块特征信息；步骤S5：构建关联性局部标识；步骤S6：生成选择标识；步骤S7：特征处理；步骤S8：训练；步骤S9：将所述全局标识和所述关联性局部标识拼接，训练最后一个transformer层。本发明解决类内差异大、类间相似程度高的细粒度图像分类的问题，实现在transformer网络中即插即用，效果提升明显。