-
公开(公告)号:CN113159071A
公开(公告)日:2021-07-23
申请号:CN202110423224.3
申请日:2021-04-20
Applicant: 复旦大学
Abstract: 本发明属于计算机多媒体技术领域,具体为一种跨模态图像‑文本关联异常检测方法。本发明通过以下几个步骤来判断图像‑文本对的关联是否异常:1)图像多标签分类阶段,将图像输入基于CNN‑RNN的编码解码器,准确提取图像的标签信息;2)文本多标签分类阶段,将文本输入基于BiLSTM的网络,得到文本的标签信息;3)关联异常检测阶段,融合图像和文本的分类结果,判断图像‑文本对的关联是否异常。本发明提出的方法能够准确实现对图像‑文本对关联异常的检测,并且模型具有较强的鲁棒性。
-
公开(公告)号:CN111738300A
公开(公告)日:2020-10-02
申请号:CN202010463642.0
申请日:2020-05-27
Applicant: 复旦大学
Abstract: 本发明公开了一种交通标志及信号灯检测和识别的优化算法;该算法分为特征提取阶段、区域候选阶段、层次分类阶段。特征提取阶段引入Ghost bottleneck模块构建特征提取网络,在ImageNet上进行大数据训练,得到预训练模型,通过预训练后的特征提取网络提取图像特征,并对特征图进行池化处理;区域候选阶段采用RPN子网获取候选区域,对候选区域对应的特征图进行裁剪和缩放,使得待分类的特征子图尺寸相同;层次分类阶段通过层次分类的方法对图像进行分类,识别出交通信号灯和交通标志。本发明的算法较之基线算法在各方面性能都得到极大提升,能满足自动驾驶系统的实时性、可靠性要求。
-
公开(公告)号:CN111738255A
公开(公告)日:2020-10-02
申请号:CN202010463634.6
申请日:2020-05-27
Applicant: 复旦大学
Abstract: 本发明公开了一种基于深度学习的路牌文本检测与识别算法。本算法分为文本区域检测阶段和文本识别两阶段。文本区域检测阶段将文本区域检测作为实例分割问题,采用改进的VGG网络进行特征提取,经特征融合获取实例分割结果,然后基于分割结果再处理得到文本区域;文本识别阶段,将文本区域检测阶段的结果作为输入,经卷积阶段、循环阶段和转录阶段识别文本,卷积阶段利用卷积神经网络提取图像的特征图,循环阶段利用双向LSTM预测特征图中的特征序列,转录阶段整合循环阶段预测的文本并翻译成文本识别结果;最后进一步处理得到最终的文本识别结果。该算法能够很好的处理自然场景下的路牌图像,在公开数据集上取得了较好的结果。
-
公开(公告)号:CN104778242B
公开(公告)日:2018-07-13
申请号:CN201510164390.0
申请日:2015-04-09
Applicant: 复旦大学
Abstract: 本发明属于图像检索技术领域,具体为一种基于图像动态分割的手绘草图图像检索方法与系统。本发明具体步骤为:数据库图像预处理;图像兴趣点局部特征提取;图像动态分割处理;图像兴趣点全局特征提取;图像兴趣点特征构造;手绘草图特征提取;图像‑手绘草图相似性计算,相似性最高的K幅图像将作为最后的检索结果返回给用户。其中涉及四个主要算法:局部特征自适应量化算法、基于兴趣点分布的图像动态分割算法、基于兴趣点分布的全局特征提取算法、图像‑手绘草图分区域加权相似性算法。本发明对于海量图像的检索具有非常重要的意义,能够很好的解决基于文本的图像检索的缺点,提高图像的检索精度,增强用户体验,在图像检索领域具有广泛的应用价值。
-
公开(公告)号:CN104899253B
公开(公告)日:2018-06-26
申请号:CN201510243776.0
申请日:2015-05-13
Applicant: 复旦大学
IPC: G06F17/30
Abstract: 本发明属于跨媒体相关性学习技术领域,具体为面向社会图像的跨模态图像‑标签相关度学习方法。本发明包括三个主要算法:多模态特征融合、双向相关度度量、跨模态相关度融合;本发明以超图为基本模型对整个社会图像数据集来进行描述,并分别将图像和标签映射为超图节点来进行处理,得到针对图像的相关度和针对标签的相关度,进而通过跨模态融合方法来将两种不同的相关度进行融合得到一种更好的相关度。较之于传统方法,本方法准确性高,适应性强。这对于在大规模弱标注的社会图像基础上,考虑多模态语义信息而进行高效社会图像检索具有重要的意义,能够提高检索相关性,增强用户体验,在跨媒体信息检索领域具有广泛的应用价值。
-
公开(公告)号:CN107168782A
公开(公告)日:2017-09-15
申请号:CN201710270400.8
申请日:2017-04-24
Applicant: 复旦大学
IPC: G06F9/48 , G06F9/50 , G06F15/173
CPC classification number: G06F9/4881 , G06F9/5038 , G06F9/505 , G06F9/5083 , G06F15/17318 , G06F15/17331
Abstract: 本发明属于并行计算技术领域,具体为一种基于Spark与GPU的并行计算框架系统。本发明基于YARN资源管理平台,通过改进其资源管理器与节点管理器,使其能够有效感知异构集群的GPU资源,从而支持对集群GPU资源的管理与调度;然后在YARN部署模式下,对Spark的作业调度机制与任务执行机制进行改进,使其支持对GPU型任务的调度与执行。通过在资源申请、资源分配、DAG生成、stage划分与任务执行等阶段引入对GPU资源的标识,使执行引擎能够感知GPU任务,并在异构集群中有效执行;同时利用Spark本身高效内存计算的特性,结合GPU多核并行计算的优势提出了在该框架下有效的编程模型。本发明能够有效的处理数据密集型与计算密集型作业,极大提高作业处理效率。
-
公开(公告)号:CN105760507A
公开(公告)日:2016-07-13
申请号:CN201610099438.9
申请日:2016-02-23
Applicant: 复旦大学
CPC classification number: G06F17/30014 , G06F17/3071 , G06K9/6223
Abstract: 本发明属于跨媒体相关性学习技术领域,具体为基于深度学习的跨模态主题相关性建模方法。本发明包括两个主要算法:基于深度词汇的多模态文档表示,融合跨模态主题相关性学习的关系主题模型建模。本发明利用深度学习技术来构造深度语义词汇和深度视觉词汇来分别描述多模态文档中的语义描述部分和图像部分。基于这样的多模态文档表示,通过构建跨模态关系主题模型来对整个多模态文档集合进行建模,从而对多模态文档的生成过程和不同模态之间的关联进行描述。本方法准确性高,适应性强。这对于在大规模多模态文档(文本加图像)基础上,考虑多模态语义信息而进行高效跨媒体信息检索具有重要的意义,能够提高检索相关性,增强用户体验,在跨媒体信息检索领域具有广泛的应用价值。
-
公开(公告)号:CN104899253A
公开(公告)日:2015-09-09
申请号:CN201510243776.0
申请日:2015-05-13
Applicant: 复旦大学
IPC: G06F17/30
CPC classification number: G06F17/30265
Abstract: 本发明属于跨媒体相关性学习技术领域,具体为面向社会图像的跨模态图像-标签相关度学习方法。本发明包括三个主要算法:多模态特征融合、双向相关度度量、跨模态相关度融合;本发明以超图为基本模型对整个社会图像数据集来进行描述,并分别将图像和标签映射为超图节点来进行处理,得到针对图像的相关度和针对标签的相关度,进而通过跨模态融合方法来将两种不同的相关度进行融合得到一种更好的相关度。较之于传统方法,本方法准确性高,适应性强。这对于在大规模弱标注的社会图像基础上,考虑多模态语义信息而进行高效社会图像检索具有重要的意义,能够提高检索相关性,增强用户体验,在跨媒体信息检索领域具有广泛的应用价值。
-
公开(公告)号:CN102768802B
公开(公告)日:2014-08-06
申请号:CN201210240036.8
申请日:2012-07-12
Applicant: 复旦大学
Abstract: 本发明属于数字图像处理及模式识别技术领域,具体为一种基于有限状态机的道路拥堵判别方法。本发明根据GA115-1995道路交通阻塞标准,结合城市道路拥堵的形成过程,建立有限状态机模型,利用高清相机捕获交通道路图像,对图像中机动车道的车队进行长度估计和整体速度估算,依据机动车道对车辆容量和速度的限制,激活有限状态机中的触发条件,判定当前路况是否处于拥堵状态。与传统方法相比,本发明综合考虑了城市路面交通拥堵形成的过程,能实时动态地检测交通拥堵的发生和消散,为相关部门进行交通治理提供了有效的依据。
-
公开(公告)号:CN103914149A
公开(公告)日:2014-07-09
申请号:CN201410128223.6
申请日:2014-04-01
Applicant: 复旦大学
Abstract: 本发明属于人机交互技术领域,具体为一种面向互动电视的手势交互方法和系统。本发明采用简单高效的时域特征提取方法,对加速度信号进行平稳降噪、去冗余和归一化处理,并用SVM进行分类和识别。手势识别结果应用于基于Android平台的机顶盒原型系统,实现用户与电视的实时交互。实验结果表明本发明实现了电视常用手势的准确识别,识别率达到了96%,手势动作的识别时间介于48~63ms。
-
-
-
-
-
-
-
-
-