公开(公告)号：CN116644226A

公开(公告)日：2023-08-25

申请号：CN202310421060.X

申请日：2023-04-19

Applicant: 重庆邮电大学

Inventor： 项小红 ,  邓欣 ,  赵王善胤 ,  张涪源 ,  陈泽瑜 ,  李荣鹏

IPC: G06F16/9535 ,  G06Q30/0601 ,  G06N3/0455 ,  G06N3/048 ,  G06N3/0499 ,  G06N3/08

Abstract: 本发明请求保护一种基于Transformer的物品‑行为跨序列推荐系统，涉及人工智能和推荐系统领域，包括以下步骤：1)物品‑行为序列建模，获取用户交互物品序列和用户交互行为序列；2)基于Transformer进行序列推荐系统建模，通过嵌入表示查询将独热的稀疏的物品转化为稠密的嵌入表示向量，根据序列级的嵌入表示计算出各个物品推荐概率并将推荐概率最高的物品推荐给用户；3)基于编码器进行序列表示建模，将两种序列建模为单一序列并对序列的嵌入表示进行学习；4)基于自注意力机制进行物品‑行为跨序列融合建模。本发明在多序列推荐系统构建、序列信息建模、多序列融合等方面的研究具有重要指导意义。

公开(公告)号：CN116403050A

公开(公告)日：2023-07-07

申请号：CN202310428053.2

申请日：2023-04-20

Applicant: 重庆邮电大学

Inventor： 项小红 ,  张涪源 ,  邓欣 ,  张浩

IPC: G06V10/764 ,  G06T5/20 ,  G06T3/40 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于滑动窗口机制的图像分类神经网络可视化算法的增强方法，其可以直接应用在多数可视化算法上。该增强方法使用固定尺寸的滑动窗口对输入图片中的所有局部区域上采样到输入图片尺寸，然后将结果输入到选定的可视化算法中得到所有图片的针对特定类别的显著图和概率分数，最后将显著图下采样到输入图片对应位置上的窗口中，并乘以概率分数，即可得到具备更多细节的显著图。可将该方法应用在不同的可视化算法上，这些算法基于不同架构的网络。

公开(公告)号：CN118627632A

公开(公告)日：2024-09-10

申请号：CN202410689468.X

申请日：2024-05-30

Applicant: 重庆邮电大学

Inventor： 项小红 ,  张斐斐 ,  张涪源 ,  胡波 ,  赵军

IPC: G06N5/045 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/084

Abstract: 本发明为一种新型基于信息熵采用池化和高斯上采样的加权特征融合CAM方法。首先，针对目标层的特征图和梯度矩阵，通过引入池化操作过滤噪声信息，并基于高斯上采样解决图像特征低分辨率问题，以获得激活图的不同尺度激活图；然后，利用图像信息熵求解不同尺度激活图的信息贡献占比，再通过对不同尺度激活图加权平均获得优化的激活图像；最后，将优化的激活图和对应权重加权求和，以输出更加精确、高效的显著图。通过实践与分析可知，本申请的WPG‑CAM方法能够有效消除显著图中的噪声，在综合指标上优于其他CAM方法，能够提供更加精确和更高细粒度的类映射图像。

公开(公告)号：CN116468941A

公开(公告)日：2023-07-21

申请号：CN202310400157.2

申请日：2023-04-14

Applicant: 重庆邮电大学

Inventor： 项小红 ,  张涪源 ,  邓欣 ,  丁晓宇

IPC: G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/084

Abstract: 本发明公开了一种基于上采样机制和类激活映射的图像分类结果特征可视化方法，该方法使用了卷积神经网络的最后一层的激活图和梯度矩阵。通过将原始输入图片进行多尺度放大，获取不同分辨率的激活图和梯度矩阵；然后将他们融合并加权相加得到初始掩膜，经过多尺度融合后的掩膜拥有更加丰富的特征信息；归一化处理后的掩膜直接与输入图片进行点乘，来扰动输入图片；将扰动后的输入图片送入模型得到每个掩膜的对应的类别概率分数作为权重，最终将权重和掩膜线性相加组合得到特征可视化结果。本发明应用于包含卷积层的图像分类神经网络，可以呈现噪声更少，分辨率更高，特征定位更加精准的特征可视化效果。

公开(公告)号：CN116453022A

公开(公告)日：2023-07-18

申请号：CN202310434327.9

申请日：2023-04-21

Applicant: 重庆邮电大学

Inventor： 项小红 ,  邓欣 ,  王棋 ,  赵军 ,  张斐斐 ,  陈泽瑜 ,  张涪源

IPC: G06V20/40 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/0442

Abstract: 本发明请求保护一种基于多模态融合和Transformer网络的视频情感内容分析方法，涉及情感计算和视频分析领域，包括以下步骤：1)音频和视频信号的分离，形成视频和音频两个数据库；2)对于音频和视频数据库，使用工具并通过多个深度学习模型来提取音频和视频特征；3)对于提取到的音频和视频特征，分别将它们投影到模态特定和模态不变两个子空间，在模态特定子空间当中学习每个模态独特的信息，在模态不变子空间中学习模态之间共享的信息；4)得到每个模态不同的模态表示过后，使用Transformer结构对不同模态的特征进行融合，形成多模态融合向量；5)使用多层感知机模型完成特征到情感空间的映射，以多模态融合向量作为输入完成分类或者回归任务。