一种场景动态光照实时采集方法及装置

    公开(公告)号:CN110493540B

    公开(公告)日:2020-12-04

    申请号:CN201910775497.7

    申请日:2019-08-21

    Abstract: 本发明公开了一种场景动态光照实时采集方法及装置,涉及混合现实和增强现实技术领域,本发明包括调节竖直支架的长度,调节连接镜面球的竖直支架与各相机竖直支架的横杆的长度,使镜面球整体清晰呈现在所有相机的拍摄画面中;利用各相机对镜面球进行拍摄,并调节相机曝光度,得到各相机不同曝光度的图片;将各相机曝光度设置为一个特定的曝光度值,对镜面球进行在线实时拍摄,得到实时LDR图;将图片和实时LDR图传输至数据处理终端,通过数据处理终端对各图片和实时LDR图进行处理分析,解析得到场景动态光照信息,本发明实现了对场景光照的动态实时捕获,使得用捕获的光照绘制虚拟物体,将虚拟物体融入真实场景以获得具备较高真实感的虚实融合效果。

    基于多尺度特征集合提取与对齐的图文检索方法

    公开(公告)号:CN119646484A

    公开(公告)日:2025-03-18

    申请号:CN202411713511.8

    申请日:2024-11-27

    Applicant: 四川大学

    Abstract: 本发明公开了一种基于多尺度特征集合提取与对齐的图文检索方法,使用预训练模型对文本和图像数据进行初步编码。使用多次基于自注意力机制的下采样操作完成多尺度特征集合提取,丰富了特征集合的粒度层次;通过基于槽注意力机制的特征选择模块筛选出来自下采样路径由低到高的多尺度特征,从而获得更显著的细粒度、多层次特征集合来表征图像以及文本数据;使用高斯分布对图文特征的余弦相似度进行建模,迭代更新高斯分布模型,为不同置信度的余弦相似度设置不同的权重,获取单个特征与另一模态特征集合之间的相似度;通过自注意力机制,获取模态内不同特征的得分,作为权重参与计算图像文本对的相似度。本发明能够解决真实场景下的图文检索问题。

    一种基于时空交互与速率感知的动态手势识别方法

    公开(公告)号:CN119600684A

    公开(公告)日:2025-03-11

    申请号:CN202411666886.3

    申请日:2024-11-20

    Applicant: 四川大学

    Abstract: 本发明公开了一种基于时空交互与速率感知的动态手势识别方法。该方法包括时空解耦特征提取、速率特征注入模块、时空特征注入交互模块。所述时空解耦特征提取由三维卷积、Inception模块、多尺度Transformer构成,所述速率特征注入模块基于相似度计算和光流估计算法实现视觉节奏特征提取,使用视觉节奏特征对初始特征进行特征增强,时空特征注入交互模块由空间特征注入模块和时间特征交互模块构成,所述空间特征注入模块和时间特征交互模块基于注意力机制实现。所述时空解耦特征提取为骨干网络,其他模块嵌入骨干网络中,承担特征注入、特征增强等作用。本发明涉及人机交互、动态手势识别算法、深度学习、计算机视觉等领域,具有特征全面、识别准确的优点。

    一种基于扩散模型的解耦式图像风格迁移方法

    公开(公告)号:CN119599861A

    公开(公告)日:2025-03-11

    申请号:CN202411679369.X

    申请日:2024-11-22

    Applicant: 四川大学

    Abstract: 本发明提出了一种基于扩散模型的解耦式图像风格迁移方法,涉及图像处理领域,其中,该方法包括:构建一个基于内容和风格解耦的图像风格迁移模型,其中,图像风格迁移模型至少包括内容提取模块、风格提取模块、投影网络和风格迁移模块,模型从特征层面和网络层面同时对内容和风格进行解耦;构建一个涵盖多种数据类型的训练集;通过训练集和损失函数对图像风格迁移模型进行训练;基于训练好的图像风格迁移模型,输入内容图像和风格图像,生成具有目标内容和目标风格的风格化结果图像,具有提高风格迁移效果且更具可解释性的优点。

    一种结合图注意力和区域分类的视觉重定位方法

    公开(公告)号:CN119399550A

    公开(公告)日:2025-02-07

    申请号:CN202411713084.3

    申请日:2024-11-27

    Applicant: 四川大学

    Abstract: 本发明公开了一种结合图注意力和区域分类的视觉重定位方法,涉及计算机视觉中视觉重定位领域。该方法采取场景区域分类的方法,对空间场景进行建模与层次分类,对数据进行重标注,采用层次化的场景坐标区域回归与相对坐标预测的做法,将重定位问题由粗到细地将重定位问题前置转换为一个分类问题,最终将定位集中在一个小型区域内,有助于改善大场景规模下的重定位问题;运用图注意力机制,结合分类结果,使得图像中的像素点更好地获取与其处于同一个区域内的其他像素点的信息,产生更为优秀的特征表示。本发明能够解决真实场景下的视觉重定位问题。

    一种基于光照分量优化的低照度图像增强方法

    公开(公告)号:CN117557482A

    公开(公告)日:2024-02-13

    申请号:CN202311471475.4

    申请日:2023-11-07

    Applicant: 四川大学

    Abstract: 本发明公开了一种基于光照分量优化的低照度图像增强方法,涉及人工智能与图像处理技术领域,包括获取若干组低照度图像信息,对应提取各个低照度图像特征,并构建低照度图像的判定数值模型,其中,判定数值获取后,依次标记为Q1、Q2、Q3...Qn,然后取最高值,并将其设定为低照度图像的判定数值标准;该基于光照分量优化的低照度图像增强方法,通过构建Retinex神经网络,具有良好的图像增强效果,可以保留较多图像细节信息,并配合自适应全局映射与同态滤波优化图像,可以降低图像优化的失真程度,并利用图像加权拉伸完成图像优化,可快速完成不同照度等级的图像优化,并且能够很好的避免了在图像优化过程中图像颜色受光照分量优化的影响。

    一种基于缺陷纹理引导和区域感知的缺陷图像生成方法

    公开(公告)号:CN117350977A

    公开(公告)日:2024-01-05

    申请号:CN202311354882.7

    申请日:2023-10-19

    Applicant: 四川大学

    Abstract: 本发明提出了一种基于缺陷纹理引导和区域感知的缺陷图像生成方法,属于图像生成领域,该方法包括以下步骤:(1)获取配对的工业缺陷图像数据集,数据集需要配对的无缺陷图像、缺陷掩膜、缺陷图像;(2)对数据集做预处理,得到缺陷图像的缺陷区域内的纹理信息;(3)将数据集分为训练集和测试集;(4)构建缺陷图像生成的生成对抗网络模型;(5)用训练集训练构建好的生成对抗网络模型;(6)用测试集测试训练得到的缺陷生成模型,最终得到生成的逼真的缺陷图像。本发明生成的缺陷图像的缺陷区域内的纹理细节更丰富也更逼真、缺陷区域边缘与无缺陷图像过渡的更自然,提高了生成的缺陷图像的真实感。

    一种面向AR的室内场景动态光照在线估计方法与装置

    公开(公告)号:CN115439595A

    公开(公告)日:2022-12-06

    申请号:CN202211386174.7

    申请日:2022-11-07

    Applicant: 四川大学

    Abstract: 本发明关于一种面向AR的室内场景动态光照在线估计方法与装置,该方法利用镜面球获取室内场景的初始HDR全景光照贴图,在线获取光照变化后的LDR图像,并分别提取初始HDR全景光照贴图和光照变化后的LDR图像的特征进行融合;特征融合后输入光照估计网络进行训练,该网络使用球面高斯函数进行求解,通过损失函数判断输出结果是否收敛,如果收敛直接输出估计的室内场景光照变化后的球面高斯函数系数,否则回到特征融合再进行训练,直至损失函数收敛为止;根据输出的估计的球面高斯函数系数,对虚拟物体进行渲染,并将其融入到真实场景中。可实现对于光照动态变化场景的在线光照估计,作为光源用于绘制虚拟物体,生成高真实感的增强现实效果。

    一种基于深度学习的磁瓦缺陷检测及分割方法

    公开(公告)号:CN114863211A

    公开(公告)日:2022-08-05

    申请号:CN202210459634.8

    申请日:2022-04-27

    Applicant: 四川大学

    Abstract: 本发明公开了一种基于深度学习的磁瓦缺陷分割和分类方法,属于缺陷检测技术领域,算法的具体步骤为:利用特征提取子网络的特征金字塔提取待检测图像特征,利用缺陷分割子网络对图像进行像素级分类得到缺陷的分割结果,再通过缺陷分类子网络融入分割结果预测图像是否存在缺陷。本算法仅需少量像素级标记的缺陷图像就可明显提升缺陷分类结果,同时分割出缺陷的大小;在训练阶段采用混合监督的模式,无需对所有的缺陷图像进行人工的像素级标记,大大降低了制作数据集的成本。

    一种现实环境动态光照的实时计算方法

    公开(公告)号:CN110458964A

    公开(公告)日:2019-11-15

    申请号:CN201910774608.2

    申请日:2019-08-21

    Abstract: 本发明公开了一种现实环境动态光照的实时计算方法,涉及增强现实技术领域,本发明包括利用不少于两个相机分别从不同角度拍摄镜面球,调节各相机曝光度,得到不同曝光度的图片,根据图片生成高动态范围HDR图片序列;检测高动态范围HDR图片序列中的共同特征点,依据共同特征点对高动态范围HDR图片序列进行匹配,合成最初环境光照图;识别各图中光照的图像区域,在最初环境光照图上标记;将相机曝光度设置为一个特定值,对镜面球实时拍摄,得到实时LDR图;根据实时LDR图、最初环境光照图和高动态范围HDR图片序列,计算现实场景中的实时光照数据和环境光照数据,最终得到动态变化的光照信息,本发明可实时渲染虚拟场景中的物体,使AR应用视觉效果更逼真。

Patent Agency Ranking