-
公开(公告)号:CN119832575A
公开(公告)日:2025-04-15
申请号:CN202411788677.6
申请日:2024-12-06
Applicant: 余姚市机器人研究中心 , 浙江大学
IPC: G06V30/32 , G06F3/04842 , G06F3/0481
Abstract: 本发明公开一种基于手写公式识别的笔试计算器系统,包括:图像采集与输入模块:采集用户移动端的手写图像;识别模块:识别手写图像并输出为latex表达式;交互模块:检测latex表达式中是否含有等号,若有等号则触发计算功能,反之不做计算,仅触发识别功能并将识别结果发送至前端进行显示;latex处理模块:在触发计算功能后,将latex表达式转换成为Sympy表达式;Sympy计算模块:利用Sympy库中的evalf函数对Sympy表达式进行结果计算,并将结果转换为数值形式;显示模块:用于在本地界面展示数值形式的计算结果。本发明通过移动端进行高效的手写输入交互,显著提高用户的效率和体验。
-
公开(公告)号:CN117115459A
公开(公告)日:2023-11-24
申请号:CN202310857930.8
申请日:2023-07-13
Applicant: 余姚市机器人研究中心 , 浙江大学
IPC: G06V10/44 , G06V10/40 , G06V10/764 , G06N3/0464 , G06N3/048
Abstract: 本发明公开了基于三维稀疏卷积与二维卷积融合的草图识别方法及装置,通过获取草图图像,并对草图图像进行特征提取,得到草图图像特征;同时,对草图点特征提取及体素化,通过提取草图的笔画上各点的几何信息,基于几何信息对草图点体素化,得到点的体素;然后,对草图各点的体素进行特征提取,得到草图体素特征;最后,融合草图图像特征与草图体素特征,通过分类器进行草图的分类识别。本发明充分利用了草图以及草图所有的稀疏点的特征,通过Sketch‑SparseVoxelNet去除草图大片空白区域,直接提取草图所有点的空间关系,并融合卷积神经网络提取的纹理、色彩特征,实现高精度的手绘草图智能识别,更好地辅助设计师。
-
公开(公告)号:CN119848283A
公开(公告)日:2025-04-18
申请号:CN202411815334.4
申请日:2024-12-11
Applicant: 余姚市机器人研究中心 , 浙江大学
Abstract: 本发明属于零样本草图检索技术领域,公开了一种基于掩码与匹配的零样本草图检索方法,首先,设计一种视觉‑跨语言采样器,该模块利用语义标签生成掩码,屏蔽图像中与草图目标无关的语义信息,优化跨域匹配的语义对齐效果。然后,设计了净化掩码匹配模块,包括特征重构和语义交互两部分,通过迫使图像编码器重建掩盖特征来抑制冗余语义,利用变换器解码器促进草图和图像特征之间的跨域交互,从而实现更精细的语义匹配。最后,结合三元组损失、重构损失和交互损失的训练机制,使得模型能够在净化后的语义空间中显著提升检索准确率。该方法通过掩码掩盖图像中的干扰元素并实现纯净的草图‑图像匹配,从而有效解决草图与自然图像之间的语义差异问题。
-
公开(公告)号:CN117877050A
公开(公告)日:2024-04-12
申请号:CN202311802009.X
申请日:2023-12-26
Applicant: 余姚市机器人研究中心 , 浙江大学
IPC: G06V30/32 , G06V10/44 , G06V10/774 , G06V10/82 , G06N3/0442 , G06N3/045
Abstract: 本发明属于图像数据处理技术,公开了一种基于多层级笔画序列特征提取的手绘草图识别方法。首先,通过记录绘图过程中的关键点信息获得草图的序列。然后,使用RDP算法对草图的关键点进行采样,将采样后的草图序列使用填充或截断处理使其固定为相同的序列长度。然后,采用双向RNN网络对草图序列的局部关键点级别特征进行提取和编码,然后采用自注意力模型建立关键点级特征之间的长距离依赖关系,聚合为全局的草图笔画特征。最后通过平均池化和Softmax函数得到最终的草图识别结果。
-
公开(公告)号:CN119942565A
公开(公告)日:2025-05-06
申请号:CN202510138715.1
申请日:2025-02-08
Applicant: 余姚市机器人研究中心 , 浙江大学
IPC: G06V30/226 , G06V30/14 , G06V30/19 , G06V10/82 , G06N3/0455 , G06N3/0464
Abstract: 本发明属于图像处理和模式识别技术领域,公开了一种基于位置森林的手写竖式识别与计算系统及方法,包括图像采集与输入模块、图像预处理模块、识别模块、计算模块和显示模块;图像采集与输入模块用于书写数学公式,并识别手写公式的边界,截取包含完整公式的图像区域;图像预处理模块:用于对图像进行预处理;识别模块:用于实现手写数学表达式识别;计算模块:由识别结果进行解码,从生成的latex序列抽取关键字符,根据python计算公式对结果进行计算;显示模块:在用户界面上显示计算结果。本发明创新计算器输入形式,实现依托于用户手绘移动端与数字笔输入的计算方式,以及手写竖式的识别与计算,弥补竖式识别领域空白。
-
公开(公告)号:CN119919949A
公开(公告)日:2025-05-02
申请号:CN202510138717.0
申请日:2025-02-08
Applicant: 余姚市机器人研究中心 , 浙江大学
IPC: G06V30/226 , G06V30/12 , G06V30/19 , G06V10/82 , G06F3/0482 , G06F3/04883 , G06N3/044 , G06N3/045 , G06N3/0464
Abstract: 本发明属于手写识别技术领域,公开了一种基于概率分布的手写数学公式推荐系统及其实现方法,包括手写识别模块、概率分布分析模块、候选生成模块、交互修改模块、置信度可视化模块和反馈学习模块,本发明利用识别系统提供的信息,给出公式级及字符级候选,提高正确率。为用户提供通过长按/右键/手势等交互方式把公式中的字符改成其他候选字符的操作,并用不同颜色显示置信度偏低的公式或符号,协助用户更有效地发现识别错误。通过公式识别准确率与用户交互修正,能为用户提供更加适合的手写公式识别结果,弥补单结果输出方式无法为用户进行修正的情况,使得推荐结果能够更加贴近用户书写意图。
-
公开(公告)号:CN119887966A
公开(公告)日:2025-04-25
申请号:CN202411788682.7
申请日:2024-12-06
Applicant: 浙江大学 , 余姚市机器人研究中心
IPC: G06T11/00 , G06V30/22 , G06N3/042 , G06N3/0464 , G06N3/094
Abstract: 本发明涉及计算机视觉和模式识别技术领域,尤其涉及一种基于图结构引导的风格化手写公式生成方法,包括:步骤1、基于目标符号字典,利用python脚本自动批量生成数学公式并构造对应的latex序列;步骤2、将latex序列转换为符号图;步骤3、使用基于图卷积网络的布局预测器,根据符号图位置信息,预测每个符号的粗略布局,生成边界框;步骤4、将边界框映射到像素级的软蒙版;步骤5、使用图像解码器,根据软蒙版生成手写数学表达式图像。本发明的手写公式生成方法能够快速、高效、自动化生成大批量手写公式的可靠数据,有效解决了当前依赖人工标注与绘制采集的问题,显著降低了数据成本。
-
公开(公告)号:CN119919657A
公开(公告)日:2025-05-02
申请号:CN202411976365.8
申请日:2024-12-31
Applicant: 余姚市机器人研究中心 , 浙江大学
Abstract: 本发明属于计算机技术领域,公开了一种基于开放词汇的场景草图语义分割系统、方法及装置,该方法包括:首先,获取手绘草图图像和文本描述;通过文本解析,得到草图类别文本提示;同时,通过草图图像编码器对整体场景草图编码,捕捉全局场景信息;然后,计算草图图像编码块与类别文本的跨模态相似度,得到类别草图分割图,通过草图图像编码器对类别草图编码,捕捉局部物体信息;最后,计算全局场景和局部物体的图像‑文本交叉损失,进行训练,得到语义分割模型。本发明能够基于手绘场景草图和文本提示得到分割的物体草图,无需数据标注和训练,有效提高了场景图像语义分割的效率和分割质量。
-
公开(公告)号:CN119810431A
公开(公告)日:2025-04-11
申请号:CN202411673210.7
申请日:2024-11-21
Applicant: 余姚市机器人研究中心 , 浙江大学
IPC: G06V10/26 , G06V20/70 , G06V10/80 , G06V10/82 , G06N3/0455 , G06N3/0442 , G06N3/042 , G06N3/0464
Abstract: 本发明涉及计算机视觉、图像处理和草图语义分割技术领域,尤其涉及一种基于图结构与时序信息融合的机械手绘草图语义分割方法,包括如下步骤:将草图模态转化为图模态与序列模态,分别输入图结构分支与序列分支,从而充分的发掘机械草图的形状结构信息与时序信息。图结构分支采用图卷积进行节点特征与边特征的特征聚合与提取,序列分支采用图增强自注意力机制模块进行特征提取,该模块将图结构分支中的特征通过边编码与笔画编码,将其作为归纳偏置项融入序列分支的自注意力机制中,通过中心性编码加入图增强自注意力模块的序列输入处,从而充分的对机械手绘草图时序特征与图结构特征进行提取与融合,提升算法对机械手绘草图语义分割的能力。
-
公开(公告)号:CN119887972A
公开(公告)日:2025-04-25
申请号:CN202411866077.7
申请日:2024-12-18
Applicant: 浙江大学
Abstract: 本发明属于图像处理技术领域,公开了一种基于手绘草图的复杂场景图像生成系统及方法,包括:通过获取草图图像,并对草图图像进行特征提取,得到草图特征;同时,基于大语言模型对草图进行分析,得到草图语义文本描述,对该文本进行特征提取,得到文本特征;然后,将草图特征与文本特征对齐,得到草图中包含的物体及背景布局信息;最后,基于草图布局及形状轮廓信息,通过预设的生成模型进行图像生成,得到目标复杂场景图像。本发明能够基于简单的人类手绘草图快速、智能地得到高质量的场景图像,无需复杂的提示,有效提高了场景图像生成效率和场景图像生成质量。
-
-
-
-
-
-
-
-
-