公开(公告)号：CN117975395A

公开(公告)日：2024-05-03

申请号：CN202410075219.1

申请日：2024-01-18

Applicant: 哈尔滨工业大学 ,  长三角哈特机器人产业技术研究院

Inventor： 孙涛 ,  谢涛 ,  张紫阳 ,  郑方军

IPC: G06V20/56 ,  G06V10/25 ,  G06V10/26 ,  G06V10/82 ,  G06N3/045 ,  G06N3/048

Abstract: 本发明公开一种环境感知中的多任务参数共享方法，具体如下：(1)通过学习获取每个线性层中任务共享参数、各个任务类型的任务专属参数、及任务共享参数和任务专属参数对应的分数；(2)基于分数是否激活当前线性层的任务共享参数，若结果为是，则将所有任务类型共享任务共享参数，若检测结果为否，则将当前任务类型对应的任务专属参数作为当前线性层的参数。通过将Vision Transformer模型中的线性层参数共享给多个任务类型，其它层参数不共享，既满足了不同任务类型的个性化需求，同时也能就减少Vision Transformer模型中参数存储量，减少了边缘计算设备存储的问题。

公开(公告)号：CN117852669A

公开(公告)日：2024-04-09

申请号：CN202311795563.X

申请日：2023-12-25

Applicant: 长三角哈特机器人产业技术研究院

Inventor： 张紫阳 ,  谢涛 ,  郑方军 ,  罗海南 ,  曹雏清 ,  赵立军

IPC: G06N20/00 ,  G06F18/241

Abstract: 本发明公开了一种加快网络收敛的基于符号的梯度归一化方法，在多任务训练中，针对任务共享参数的梯度方向，通过利用符号掩码的方式均匀化所有任务的任务共享参数的梯度方向；针对特定任务参数，采用梯度平均的方式进行参数更新。本发明的优点在于：保证了在多任务训练中梯度的更新方向始终是最有利于所有任务的，进一步提高多任务训练的效率和性能，避免了负迁移的发生。