-
公开(公告)号：CN118314504A
公开(公告)日：2024-07-09
申请号：CN202410548999.7
申请日：2024-05-06
Applicant: 杭州电子科技大学
Abstract: 本发明公开了基于渐进式少样本知识蒸馏的动作识别方法。本发明首先对原始视频进行均匀采样获得RGB帧图像序列和光流图像序列，分别构建教师网络和学生网络；进一步对原始视频以片段为单位进行随机采样，得到采样视频片段集合；接着通过贡献度得分模块，衡量每个视频片段贡献度；同时，利用多样化少样本选择模块指导样本选择，获得少量的差异化视频样本进行训练；最后，通过对选定样本集合进行渐进式蒸馏，动态调整蒸馏温度，实现教师模型知识向学生模型转移。本发明方法不仅能充分衡量视频样本的时序关联强弱，还能准确刻画视频片段与当前动作模型间的相互关系，实现少样本的动作识别模型轻量化，有利于模型部署在资源受限的边缘计算设备上。
-
公开(公告)号：CN118314504B
公开(公告)日：2025-01-17
申请号：CN202410548999.7
申请日：2024-05-06
Applicant: 杭州电子科技大学
Abstract: 本发明公开了基于渐进式少样本知识蒸馏的动作识别方法。本发明首先对原始视频进行均匀采样获得RGB帧图像序列和光流图像序列，分别构建教师网络和学生网络；进一步对原始视频以片段为单位进行随机采样，得到采样视频片段集合；接着通过贡献度得分模块，衡量每个视频片段贡献度；同时，利用多样化少样本选择模块指导样本选择，获得少量的差异化视频样本进行训练；最后，通过对选定样本集合进行渐进式蒸馏，动态调整蒸馏温度，实现教师模型知识向学生模型转移。本发明方法不仅能充分衡量视频样本的时序关联强弱，还能准确刻画视频片段与当前动作模型间的相互关系，实现少样本的动作识别模型轻量化，有利于模型部署在资源受限的边缘计算设备上。
-
公开(公告)号：CN118485835B
公开(公告)日：2024-10-01
申请号：CN202410946977.6
申请日：2024-07-16
Applicant: 杭州电子科技大学
Abstract: 本发明公开了基于模态分歧差异融合的多光谱图像语义分割方法。本发明方法首先使用双流特征提取器获得RGB和Thermal图像特征；接着构建考虑模态分歧的四层差异融合模块，对语义分歧区域和语义一致区域进行差异化模态融合；再构建前景分割头获得前景掩膜，通过动态全连接解码器和语义分割头获得预测掩膜。本发明方法通过差异化融合建立语义一致和语义分歧区域的模态交互关系，刻画了高层与低层特征的语义关联，既能充分挖掘模态互补信息、降低模型计算量，又能准确定位细小物体和轮廓边缘，从而提升多光谱语义分割方法的性能。本方法能解决模型对于小物体和边界捕捉能力弱的问题，可应用于影视创作、服务机器人、智能巡检等实际场景。
-
公开(公告)号：CN118485835A
公开(公告)日：2024-08-13
申请号：CN202410946977.6
申请日：2024-07-16
Applicant: 杭州电子科技大学
Abstract: 本发明公开了基于模态分歧差异融合的多光谱图像语义分割方法。本发明方法首先使用双流特征提取器获得RGB和Thermal图像特征；接着构建考虑模态分歧的四层差异融合模块，对语义分歧区域和语义一致区域进行差异化模态融合；再构建前景分割头获得前景掩膜，通过动态全连接解码器和语义分割头获得预测掩膜。本发明方法通过差异化融合建立语义一致和语义分歧区域的模态交互关系，刻画了高层与低层特征的语义关联，既能充分挖掘模态互补信息、降低模型计算量，又能准确定位细小物体和轮廓边缘，从而提升多光谱语义分割方法的性能。本方法能解决模型对于小物体和边界捕捉能力弱的问题，可应用于影视创作、服务机器人、智能巡检等实际场景。
-
-
-
Search Results
4
records
(took 0.02 seconds)
