用于用户原创视频的双流时序自适应选择视频质量评价方法

    公开(公告)号:CN113487564A

    公开(公告)日:2021-10-08

    申请号:CN202110753105.4

    申请日:2021-07-02

    Abstract: 本发明属于用户原创内容视频处理技术领域,公开了一种用于用户原创视频的双流时序自适应选择视频质量评价方法,包括1:基于内容权重分配帧内质量感知模块;2:双流全局时域建模;3:双流更深层次损失函数权重分配。本方法从时域与空域两个维度对视频质量特征进行提取,在空域方面,提取了多尺度的特征图,结合人眼视觉显著性感知对特征图进行权重再分配。在时域方面,引入双流更深层次RNN结构,对前向与后向时序信息进行迭代提取深层次双时序信息。最后,通过深度监督模块对不同的感知层次与顺序的进行损失函数的分配后回归最后的得分。在四个UGC‑VQA数据库上,与目前最好的深度学习方法相比,实现了更进一步的性能提升。

    一种计算和访存高效的CNN网络模型计算调度映射方法

    公开(公告)号:CN114330653A

    公开(公告)日:2022-04-12

    申请号:CN202111586693.3

    申请日:2021-12-23

    Abstract: 本发明属于深度学习领域,公开了一种计算和访存高效的CNN网络模型计算调度映射方法。包括如下步骤:步骤1:根据片上SRAM存储配置确定存储映射方案;步骤2:根据片上可并发MAC计算单元配置确定计算映射方案;步骤3:根据网络模型、存储和计算映射方案,确定流水调度优化方案。本发明的一种计算和访存高效的CNN网络模型计算调度映射方法包括单位MAC计算单元算力、可并发强度、片上缓存颗粒度、缓存大小,并结合算法网络结构特点,为每个网络层实现优化映射,提出计算、存储、访存带宽多目标优化的网络结构映射实现方法。

    一种基于背景、前景裁剪互换的目标检测域适应方法

    公开(公告)号:CN118196371A

    公开(公告)日:2024-06-14

    申请号:CN202410136130.1

    申请日:2024-01-31

    Abstract: 本发明公开了一种基于背景、前景裁剪互换的目标检测域适应方法。本发明采用半监督学习的师生模型框架,通过教师模型的指数移动平均来进行缓慢更新,使得模型能够从学生模型习得的主要知识中获取信息,从而实现自监督效果。通过引入域辨别器进行对抗训练,增强了模型提取域不变表征的能力,从而提高了鲁棒性。此外,前景‑背景混合实例策略进一步增强了模型的域适应能力,通过裁剪、填充和粘贴操作,有效地创建了带有源域背景的目标域实例图像和带有目标域背景的源域实例图像。最后,采用迭代优化策略,不断改进模型性能,通过计算多个损失函数进行梯度反向传播来更新学生模型,并使用指数移动平均来更新教师模型。

    用于用户原创视频的双流时序自适应选择视频质量评价方法

    公开(公告)号:CN113487564B

    公开(公告)日:2024-04-05

    申请号:CN202110753105.4

    申请日:2021-07-02

    Abstract: 本发明属于用户原创内容视频处理技术领域,公开了一种用于用户原创视频的双流时序自适应选择视频质量评价方法,包括1:基于内容权重分配帧内质量感知模块;2:双流全局时域建模;3:双流更深层次损失函数权重分配。本方法从时域与空域两个维度对视频质量特征进行提取,在空域方面,提取了多尺度的特征图,结合人眼视觉显著性感知对特征图进行权重再分配。在时域方面,引入双流更深层次RNN结构,对前向与后向时序信息进行迭代提取深层次双时序信息。最后,通过深度监督模块对不同的感知层次与顺序的进行损失函数的分配后回归最后的得分。在四个UGC‑VQA数据库上,与目前最好的深度学习方法相比,实现了更进一步的性能提升。

    一种基于随机上下文一致性推理的目标检测域适应方法

    公开(公告)号:CN119313866A

    公开(公告)日:2025-01-14

    申请号:CN202411159473.6

    申请日:2024-08-22

    Abstract: 本发明公开了一种基于随机上下文一致性推理的目标检测域适应方法。采用半监督学习的师生模型框架,通过教师模型的指数移动平均来进行缓慢更新,使得模型能够从学生模型习得的主要知识中获取信息,从而实现自监督效果。通过引入随机互补掩码模块掩码掉网络严重依赖的部分局部视觉特征,从而鼓励网络利用上下文中的其他视觉线索。此外,通过内部上下文一致性推理模块避免了大多数自训练框架中严重依赖伪标签的现象,通过构建学生模型的自监督训练范式来提高学生模型自身的上下文推理能力。最后,通过外部上下文一致性推理模块构建了基于师生模型的自训练框架,利用教师模型具有全局先验知识的伪标签鼓励学生模型对于被掩码区域做出正确的预测。

    一种基于位置编码增强的点云渲染方法、系统及设备

    公开(公告)号:CN118587341A

    公开(公告)日:2024-09-03

    申请号:CN202410682122.7

    申请日:2024-05-29

    Abstract: 本发明公开了一种基于位置编码增强的点云渲染方法、系统及设备。本发明在神经网络训练阶段需要与点云观察视角对齐的2D图片。在训练过程当中,首先对点云做位置编码。本发明使用超参网络和高斯采样来增强位置编码,之后再输入渲染网络得到最后结果。其中位置编码增强网络中的超参网络具体实现如下:首先将超参网络中的线性层Ⅰ视为低频段sin(wx+b)的ω和b;其次定义ReLU层中的激活函数;最后将超参网络中的线性层Ⅱ视为高频段sin(wx+b)的ω和b。本发明使得位置编码的过程参与神经网络整个可微过程的优化,从而生成更加准确和精细的渲染图像。

    一种基于感知特征参量度量的视频时域显著度度量方法

    公开(公告)号:CN113361599B

    公开(公告)日:2024-04-05

    申请号:CN202110625964.5

    申请日:2021-06-04

    Abstract: 本发明属于视频处理、机器视觉技术领域,公开了一种基于感知特征参量度量的视频时域显著度度量方法,包括如下步骤:步骤1:视频时域运动信息的提取;步骤2:感知特征参量的度量及融合。本发明考虑了视频中五个影响HVS时域感知特性的参量,并分析它们的作用机理,提出相应的概率密度函数,使得能够定量度量这些参量导致的感知显著度与不确定度。本发明提出的利用感知信息论的方法来度量这些参量,将它们映射到统一尺度,解决了异质特征参量融合困难这一问题。本发明提出时域视觉感知显著度度量方法能够达到较好预期效果。

Patent Agency Ranking