一种基于PCANet+和LSTM的微表情识别方法及系统

    公开(公告)号:CN116645717A

    公开(公告)日:2023-08-25

    申请号:CN202310681811.1

    申请日:2023-06-09

    Applicant: 厦门大学

    Abstract: 本发明提供了表情识别技术领域的一种基于PCANet+和LSTM的微表情识别方法及系统,方法包括:步骤S10、对人像视频中的各帧人头图像的人脸进行关键点检测;步骤S20、基于关键点对人头图像进行预处理得到若干张人脸图像;步骤S30、对人脸图像的帧数进行归一化;步骤S40、对各人脸图像进行光流计算,得到光流图像序列;步骤S50、将光流图像序列输入PCANet+网络得到若干张特征图,对各特征图进行加权平均得到一张二维特征图;步骤S60、基于关键点从二维特征图中截取特征区域,将各特征区域输入LSTM网络提取时序特征并进行加权求合得到不同类别微表情的分数;步骤S70、使用Softmax函数将分数映射为不同类别微表情的概率。本发明的优点在于:极大的提升了微表情的识别效果。

    一种基于深度学习的舞美效果自动生成方法及系统

    公开(公告)号:CN114927143A

    公开(公告)日:2022-08-19

    申请号:CN202210422650.X

    申请日:2022-04-21

    Applicant: 厦门大学

    Abstract: 本发明提供了计算机技术领域的一种基于深度学习的舞美效果自动生成方法及系统,方法包括如下步骤:步骤S10、获取音频数据,将所述音频数据切割为音频片段;步骤S20、对各所述音频片段进行预处理得到若干个第一单帧频域数组,对所述音频数据进行预处理得到第二单帧频域数组;步骤S30、对各所述第一单帧频域数组进行横向堆叠得到声谱图;步骤S40、将所述声谱图输入创建的愉悦度识别模型以及激活度识别模型得到对应的愉悦度和激活度;步骤S50、基于所述第二单帧频域数组选取音乐的幅度值;步骤S60、基于所述愉悦度、激活度以及幅度值自动生成舞美效果。本发明的优点在于:极大的提升了舞美效果生成的效率以及质量,极大的降低了舞美效果生成的成本。

    一种基于全局环境图和注意力侧重的机器人导航方法

    公开(公告)号:CN114923486A

    公开(公告)日:2022-08-19

    申请号:CN202210422662.2

    申请日:2022-04-21

    Applicant: 厦门大学

    Abstract: 本发明提供了人工智能技术领域的一种基于全局环境图和注意力侧重的机器人导航方法,包括:步骤S1、构建全局环境图,基于全局环境图、行人状态、机器人状态s2拼接出张量;步骤S2、将张量输入多层感知机得到特征量F1,将F1输入多层感知机得到特征量F2;步骤S3、计算F1的均值得到特征量Fm,将F1和Fm拼接后输入多层感知机得到各行人的注意力得分,计算注意力得分的均值和标准差以对注意力得分进行筛选;步骤S4、对注意力得分进行归一化得到注意力侧权重U,基于F2、U得到环境特征Fw;步骤S5、将Fw和s2拼接后输入多层感知机得到下一时刻的累计奖励和V,基于V进行导航。本发明的优点在于:极大的提高了机器人在多人环境下的导航成功率以及效率。

    基于点云的场景重建兼渲染的方法、存储介质和电子设备

    公开(公告)号:CN114898028A

    公开(公告)日:2022-08-12

    申请号:CN202210473540.6

    申请日:2022-04-29

    Applicant: 厦门大学

    Abstract: 本发明基于点云的场景重建兼渲染的方法、存储介质和电子设备,通过获取某单一场景下的多个不同视角的RGB图片、相机参数和深度图数据,构建数据集;对带有神经网络特征的点云进行多视角三维重建,得到特征增强的点云;利用特征增强的点云模拟传统的体积辐射场进行渲染,将目标场景处理为带有神经特征向量的点云,来模拟神经辐射场,避免了在空旷的场景中取样,能以更少的内存来表示场景,实现更快的辐射场重建,另外,由于本发明使用了点的置信度来判断一个点是否在表面上,能忽略点云中的噪声和离散点等,从而获得更好的渲染效果。

    一种基于深度学习的歌唱评价方法

    公开(公告)号:CN114678039A

    公开(公告)日:2022-06-28

    申请号:CN202210388559.0

    申请日:2022-04-13

    Applicant: 厦门大学

    Abstract: 本发明提供了歌唱评价技术领域的一种基于深度学习的歌唱评价方法,包括如下步骤:步骤S10、获取大量的歌唱数据,对各所述歌唱数据进行清洗;步骤S20、提取清洗后的各所述歌唱数据的音频特征,构建特征数据集;步骤S30、创建一音频对齐模型,基于所述音频对齐模型对特征数据集中的各音频特征进行对齐;步骤S40、基于深度学习创建一多维度评价模型,利用对齐后的所述特征数据集对多维度评价模型进行训练;步骤S50、获取待评价音频,将所述待评价音频输入多维度评价模型,得到音准评价值、节奏评价值以及发音评价值并进行展示。本发明的优点在于:极大的提升了歌唱评价的准确性以及可解释性。

    一种基于深度神经网络的机器人材质识别方法及系统

    公开(公告)号:CN114519796A

    公开(公告)日:2022-05-20

    申请号:CN202210101620.9

    申请日:2022-01-27

    Applicant: 厦门大学

    Abstract: 本发明提供了机器人触觉感知技术领域的一种基于深度神经网络的机器人材质识别方法及系统,方法包括如下步骤:步骤S10、机器人通过安装于机械臂末端的电子皮肤,在不同工况下分批次采集大量的材质图像;步骤S20、基于结构相似性计算各批次的所述材质图像之间的相似度,基于各所述相似度构建数据集;步骤S30、基于深度神经网络创建一材质识别模型,利用所述数据集对材质识别模型进行训练;步骤S40、机器人利用训练后的所述材质识别模型,对新的工况下电子皮肤采集的图像进行实时的材质识别,并实时输出识别结果。本发明的优点在于:极大的提升了机器人材质识别的准确性、稳定性以及泛化能力。

    一种基于深度学习的印刷体古筝简谱识别方法及系统

    公开(公告)号:CN114332877A

    公开(公告)日:2022-04-12

    申请号:CN202111459688.6

    申请日:2021-12-02

    Applicant: 厦门大学

    Inventor: 姚俊峰 郑凯轩

    Abstract: 本发明提供了乐谱识别技术领域的一种基于深度学习的印刷体古筝简谱识别方法及系统,方法包括如下步骤:步骤S10、获取大量的钢琴五线谱图片以及对应的钢琴MusicXML文件;步骤S20、对各所述钢琴五线谱图片添加指法信息转化为古筝简谱图片,对各所述钢琴MusicXML文件进行数据标注得到古筝MusicXML文件;步骤S30、对各所述古筝简谱图片进行数据扩充,得到图片集;步骤S40、基于端到端的深度卷积神经网络创建一古筝简谱识别模型,利用所述图片集以及古筝MusicXML文件对古筝简谱识别模型进行训练;步骤S50、利用训练后的所述古筝简谱识别模型对印刷体古筝简谱进行自动识别。本发明的优点在于:极大的提升了印刷体古筝简谱识别效率以及精度。

    基于单张图片的三维建模实现方法

    公开(公告)号:CN108665530B

    公开(公告)日:2021-12-14

    申请号:CN201810381028.2

    申请日:2018-04-25

    Applicant: 厦门大学

    Abstract: 本发明一种基于单张图片的三维建模实现方法,对用户输入单张图片通过图像分割获得前景和背景,并进行识别和检测前景中的基、层、帽、边四个结构元素,利用层式建模和曲线Morphing的建模方法进行三维重建达到平滑、过渡和不规则曲面建模的效果,最后网格化、映射纹理和三维模型格式输出,最终实现三维建模。本发明避免了多张图片建模的庞大的计算量和复杂的操作,实时性较好,计算量较少,同时可视化效果好且有着广阔的应用前景和应用领域。

    一种可编程木偶表演机器人控制方法、系统及机器人

    公开(公告)号:CN111515959B

    公开(公告)日:2021-11-23

    申请号:CN202010423949.8

    申请日:2020-05-19

    Applicant: 厦门大学

    Inventor: 姚俊峰 李岩松

    Abstract: 本发明提供了一种可编程木偶表演机器人、可编程木偶表演机器人控制系统、一种机器人动作模拟方法,方法包括:用户添加元表演动作进队列;可编程系统将队列组合,并发送至机器人控制系统;机器人控制系统根据接收到的队列,从元动作库中获取相应的动作指令;系统将动作指令发送至木偶表演机器人;木偶表演机器人根据获得的指令进行相应的动作表演。通过此方法控制的木偶表演机器人,操作十分简洁,即使是没有编程经验的用户也可以十分轻松地让机器人表演所期望的动作。

    一种视频动作捕捉动画数据的优化方法及系统

    公开(公告)号:CN113538634A

    公开(公告)日:2021-10-22

    申请号:CN202110698546.9

    申请日:2021-06-23

    Applicant: 厦门大学

    Inventor: 姚俊峰 陈元庆

    Abstract: 本发明提供了动画制作技术领域的一种视频动作捕捉动画数据的优化方法及系统,方法包括如下步骤:步骤S10、在视频中选择需要优化的动画数据曲线,设定各所述动画数据曲线的曲线属性;步骤S20、设定各所述动画数据曲线的优化参数;步骤S30、利用最小二乘法以及三次贝塞尔曲线公式基于所述优化参数对各动画数据曲线进行优化,生成新动画曲线。本发明的优点在于:极大的提升了动画制作的效率以及质量。

Patent Agency Ranking