-
公开(公告)号:CN118939859A
公开(公告)日:2024-11-12
申请号:CN202410927779.5
申请日:2024-07-11
申请人: 浙江工商大学
IPC分类号: G06F16/9532 , G06F16/332 , G06F16/33 , G06F16/532 , G06F40/16 , G06F40/30 , G06N3/045
摘要: 本发明公开了一种基于两种级别的可适应参数生成跨语言跨模态检索方法,该方法分为两个阶段,第一个阶段旨在源语言和目标语言之间的对齐实现跨语言的迁移,第二阶段旨在目标语言和图像之间的对齐,实现跨模态的对齐。在第一阶段中,对文本编码器层参数进行了冻结,并在目标语言分支的每一层的文本编码器层的后面添加了共享适配器模块、句子级别适配器模块和token级别适配器模块,然后分别经过这三个模块之后按照权重相加,得到这一层的输出。本发明使用新颖的自适应参数生成适配器结构,利用两种级别文本信息和共享文本信息进行跨语言跨模态检索。
-
公开(公告)号:CN113904844B
公开(公告)日:2023-09-12
申请号:CN202111170949.2
申请日:2021-10-08
申请人: 浙江工商大学
摘要: 本发明公开了一种基于跨模态教师‑学生网络的智能合约漏洞检测方法,包括:编译智能合约源码生成相应的字节码,提取源码与字节码两种形式的程序语义图,并进行语义图归一化处理;利用BERT模型提取字节码模态的程序语义图Block级语义信息;构建图消息传递网络从归一化后的语义图中分别提取智能合约源码和字节码的图结构信息,并生成相应的图特征向量;构建教师‑学生网络实现跨模态的互相学习,提高字节码单模态背景下的智能合约检测准确率。本发明方法相较于传统的智能合约漏洞检测工具有更高的准确率,填补了当前基于专家规则和深度学习的智能合约安全漏洞检测方法的空缺,具有良好的实用价值和借鉴意义。
-
公开(公告)号:CN116052108A
公开(公告)日:2023-05-02
申请号:CN202310142948.X
申请日:2023-02-21
申请人: 浙江工商大学
IPC分类号: G06V20/56 , G06V10/77 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/0455 , G06N3/048 , G06N3/08
摘要: 本发明公开了一种基于Transformer的交通场景小样本目标检测方法及装置,该方法重新训练已有的目标检测模型,在Transformer编码器中设计多头自注意力机制,实现伪类嵌入来关联同一类别的样本,区分不同类别的样本,能够检测支持集新出现的类别,改善了在小样本目标检测任务中生成候选区域不准确问题;Transformer解码器利用伪类信息嵌入使得检测器易于训练,泛化能力强,并解决了小样本目标检测任务难以学习和容易过拟合的问题。与其他先进方法相比,本发明方法具有可观的竞争力。
-
公开(公告)号:CN114820739A
公开(公告)日:2022-07-29
申请号:CN202210765686.8
申请日:2022-07-01
申请人: 浙江工商大学 , 浙江宇视科技有限公司
IPC分类号: G06T7/33 , G06T3/40 , G06T5/10 , G06V10/764 , G06V10/774
摘要: 本发明公开了一种面向多光谱相机的图像快速配准方法及装置。首先,选定某个光谱波段图像作为参考图像,其余波段图像为待配准图像,对参考图像与待配准图像的鲁棒梯度特征图进行网格分块;然后,选取非平滑网格,用相位相关算法计算非平滑网格的偏移量,用网格偏移量与参数化坐标变换关系构建方程组,求解整幅图像的配准参数初值;最后,将配准参数初值送入到基于归一化总梯度的配准参数优化器中,对配准参数进行细调优化,将细调后的参数应用到待配准图像上,实现两幅不同波段图像之间的精细化快速配准。与同类配准方法相比,本发明方法具有更高的配准精度、更快的配准速度。
-
公开(公告)号:CN112380394B
公开(公告)日:2022-05-10
申请号:CN202011164289.2
申请日:2020-10-27
申请人: 浙江工商大学
IPC分类号: G06F16/783 , G06V20/40 , G06V10/774 , G06V10/82 , G06K9/62 , G06N3/04
摘要: 本发明公开了一种面向文本到视频片段定位的渐进式定位方法,该方法包括:首先利用不同的特征提取方法分别提取视频和文本这两种模态的特征;接着渐近地选择不同的步长,多阶段地学习视频和文本之间的相关性;最后结合各个阶段的相关性损失,以端到端的方式训练模型。同时,通过条件特征更新模块和上采样连接让细时间粒度阶段融合粗时间粒度阶段的信息,使得不同阶段之间相互促进。不同阶段能关注不同时间粒度的片段,结合阶段之间的相互联系,使得模型能应对目标片段长度变化明显的情况。本发明借鉴人类在处理片段定位任务的思维方式,采用一种由粗到细的方式,多阶段、渐近地定位目标片段,在很大程度上提高了定位的性能。
-
公开(公告)号:CN113569829A
公开(公告)日:2021-10-29
申请号:CN202110643866.4
申请日:2021-06-09
申请人: 浙江工商大学 , 浙江仙林信息科技有限公司
摘要: 本发明公开一种集装箱编码数据识别方法及系统,其中方法包括以下步骤:获取目标图像;检测所述目标图像中的门锁杆、编号末位数字及文本,获得相应的检测结果,所述编号末位数字包含边界框;基于所述检测结果确定待识别区域;基于所述待识别区域对所述目标图像进行文本识别,获得相应的集装箱编码数据。本发明通过检测目标图像中门锁杆、编号末位数字和文本的位置,以确定集装箱编码数据所在区域,将该区域作为待识别区域,本发明中仅对待识别区域的文本进行识别,无需识别其他字符,还无需从大量的识别结果中检测并提取集装箱编码数据,有效提升识别效率,可适用于大型港口、货运集散地等需对大量集装箱进行管理的场景。
-
公开(公告)号:CN113361415A
公开(公告)日:2021-09-07
申请号:CN202110636486.8
申请日:2021-06-08
申请人: 浙江工商大学
IPC分类号: G06K9/00 , G06K9/34 , G06K9/32 , G06F16/783 , G06F16/953
摘要: 本发明公开了一种基于众包的微表情数据集收集方法,该方法首先通过招募大众模仿微表情和观看视频诱发微表情的方式进行初步人脸微表情视频收集,并且在互联网上搜集与人脸微表情有关的视频,然后将上述方式所得到的视频通过微表情检测模型检测出微表情片段,最后将微表情片段放到众包平台上让众包人员进行标注,对标注结果进行处理,最终可得大量的微表情数据。本发明解决了以往微表情数据集样本过少,收集费时费力的问题,提高了数据集样本的多样性和数据收集效率。
-
-
公开(公告)号:CN106504190B
公开(公告)日:2019-09-13
申请号:CN201611243656.1
申请日:2016-12-29
申请人: 浙江工商大学
摘要: 本发明公开了一种基于3D卷积神经网络的立体视频生成方法,能将现有的2D视频源转换成能在3D立体显示设备上播放的立体视频。包括以下步骤:准备足够数量非动画3D电影作为训练数据,将3D视频源分离成左眼图像序列和右眼图像序列,删去片头、片尾及空白帧后,用模糊C均值聚类法对左眼图像序列进行镜头分割,并以镜头为单位组织训练文件,计算所有左眼图像序列的均值并将这些图像减去该均值,以右眼图像序列作为训练的目标。用这些训练数据训练所构造的3D卷积神经网络直到收敛。将需要转换成立体视频的2D视频源进行镜头分割并减去训练图像均值后输入到训练得到的3D卷积神经网络,将得到该2D视频的右眼视频图像序列,最终将两者合并成立体视频。
-
公开(公告)号:CN106228125B
公开(公告)日:2019-05-14
申请号:CN201610563188.X
申请日:2016-07-15
申请人: 浙江工商大学
摘要: 本发明公开了一种基于集成学习级联分类器的车道线检测方法,可以在单个CPU或DSP上实时的获取图中车道线准确的位置和方向信息,进而得到车道线方程,同时对交通场景的亮度变化具有一定鲁棒性。该检测方法过程:首先架设图像传感器,获取需提取车道线的彩色图像;然后基于前帧的检测结果提取感兴趣区域;再计算积分图和单尺度块LBP特征;接着采用集成学习遍历感兴趣区域,得到车道线细小区域;得到车道线细小区域后,最后使用基于最优化的办法得到车道线方程。
-
-
-
-
-
-
-
-
-