公开(公告)号：CN119322859B

公开(公告)日：2025-05-13

申请号：CN202411874910.2

申请日：2024-12-19

Applicant: 浙江工商大学

Inventor： 蔡蕊 ,  董智宇 ,  梁永辉 ,  董建锋 ,  朱继祥 ,  王勋

IPC: G06F16/432 ,  G06F16/483 ,  G06F40/284 ,  G06F40/30 ,  G06F18/25 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/094 ,  G06N3/096

Abstract: 本发明公开了一种基于语义解耦和动态参数生成的跨语言跨模态检索方法，该方法引入语义解耦模块和动态适配器模块，语义解耦模块将一个句子解耦成语义相关特征和语义无关特征，根据这两个信息，能让模型对处理同个语义但是有不同表述方式的句子也能有较好的表现。动态适配器模块将语义解耦模块的输出通过低秩分解的方式融合到适配器中,将语义相关信息和语义无关信息进行融合，来提高跨语言跨模态检索能力。

公开(公告)号：CN119322859A

公开(公告)日：2025-01-17

申请号：CN202411874910.2

申请日：2024-12-19

Applicant: 浙江工商大学

Inventor： 蔡蕊 ,  董智宇 ,  梁永辉 ,  董建锋 ,  朱继祥 ,  王勋

IPC: G06F16/432 ,  G06F16/483 ,  G06F40/284 ,  G06F40/30 ,  G06F18/25 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/094 ,  G06N3/096

Abstract: 本发明公开了一种基于语义解耦和动态参数生成的跨语言跨模态检索方法，该方法引入语义解耦模块和动态适配器模块，语义解耦模块将一个句子解耦成语义相关特征和语义无关特征，根据这两个信息，能让模型对处理同个语义但是有不同表述方式的句子也能有较好的表现。动态适配器模块将语义解耦模块的输出通过低秩分解的方式融合到适配器中,将语义相关信息和语义无关信息进行融合，来提高跨语言跨模态检索能力。

公开(公告)号：CN118939859A

公开(公告)日：2024-11-12

申请号：CN202410927779.5

申请日：2024-07-11

Applicant: 浙江工商大学

Inventor： 蔡蕊 ,  梁永辉 ,  董智宇 ,  董建锋 ,  王勋

IPC: G06F16/9532 ,  G06F16/332 ,  G06F16/33 ,  G06F16/532 ,  G06F40/16 ,  G06F40/30 ,  G06N3/045

Abstract: 本发明公开了一种基于两种级别的可适应参数生成跨语言跨模态检索方法,该方法分为两个阶段,第一个阶段旨在源语言和目标语言之间的对齐实现跨语言的迁移,第二阶段旨在目标语言和图像之间的对齐,实现跨模态的对齐。在第一阶段中,对文本编码器层参数进行了冻结,并在目标语言分支的每一层的文本编码器层的后面添加了共享适配器模块、句子级别适配器模块和token级别适配器模块,然后分别经过这三个模块之后按照权重相加,得到这一层的输出。本发明使用新颖的自适应参数生成适配器结构，利用两种级别文本信息和共享文本信息进行跨语言跨模态检索。