一种应用于社交机器人的微表情识别方法

    公开(公告)号:CN114708627B

    公开(公告)日:2024-05-31

    申请号:CN202210186949.X

    申请日:2022-02-28

    Applicant: 厦门大学

    Abstract: 本发明公开一种应用于社交机器人的人脸微表情识别方法。步骤一:社交机器人从摄像头获取视觉输入。步骤二:社交机器人的中央处理单元对视觉输入进行人脸定位。步骤三:中央处理单元提取四种光流信息的输入组。步骤四:将输入组传入训练好的分块卷积网络中,得到分类后的微表情状态。步骤五:社交机器人的交互层根据用户不同的微表情状态来进行相应的响应。本发明设计了一个全新的基于深度特征增强的分块卷积网络,提高了微表情识别的泛化性和鲁棒性,并应用于社交机器人,使得社交机器人可以实时地根据用户的微表情状态实施不同的响应方式。

    适用于影视后期制作的智能人脸替换技术

    公开(公告)号:CN117315089A

    公开(公告)日:2023-12-29

    申请号:CN202311251977.6

    申请日:2023-09-26

    Applicant: 厦门大学

    Abstract: 适用于影视后期制作的智能人脸替换技术,涉及视频处理。采用多任务学习的框架,将目标检测、人脸识别、人脸重建、人脸对齐、人脸融合等步骤统一为一个端到端的网络模型,实现了一体化的视频生成流程;采用注意力机制,增强了网络模型对输入视频中的人物区域和人脸特征的关注和提取能力,提高了生成结果的质量和稳定性;采用条件生成对抗网络,利用目标人物的照片或视频作为条件输入,生成与目标人物相似的二维人脸图像,实现多样性和可编辑性的视频生成;采用循环神经网络,利用前后帧之间的时序信息,保持生成结果的动态细节和时间连贯性,减少闪烁、抖动、失真等现象。相比现有技术具有更高效、更稳定、更灵活、更可控的优势。

    一种基于语音合成的乐谱智能视唱方法和系统

    公开(公告)号:CN111816157B

    公开(公告)日:2023-01-31

    申请号:CN202010590726.0

    申请日:2020-06-24

    Applicant: 厦门大学

    Abstract: 本发明提供了一种基于语音合成的乐谱智能视唱方法和系统,所述方法包括:步骤一、数据准备,输入并解析abc乐谱,得出具体一个abc乐谱中每个音符的音高以及时长信息;步骤二、训练参数,制作训练数据时生成了长度5个以内的音符,即在处理一个完整的abc乐谱时,将其所有音符划分成5个音符一组;步骤三、合成音频拼接,具体包括乐谱分段识别、片段拼接、波形对齐与空白段填充三个子步骤;步骤四、对合成的音频进行可视化展示。本发明解决了训练过程计算量大、直接拼接时拼接痕迹会比较明显、拼接杂音等技术问题,生成的音频和原数据的效果对比很难分辨出差别。

    一种应用于社交机器人的动态延长编码微表情识别方法

    公开(公告)号:CN114973362A

    公开(公告)日:2022-08-30

    申请号:CN202210549594.6

    申请日:2022-05-20

    Applicant: 厦门大学

    Abstract: 本发明公开了一种应用于社交机器人的动态延长编码微表情识别方法,属于微表情领域;所述方法包括如下步骤:S1、对数据集中的数据进行增强扩充数据量并预处理;S2、搭建表情识别模型并利用S1中的数据集进行训练;S3、将步骤S2中训练后的表情识别模型进行优化调整;S4、输出最终的表情识别模型;本发明方法构建表情识别模型为基于一个标准卷积神经网络的实时CNN,有四个residual模块,每一个卷积均有一个BatchNormalization和Relu处理,末尾的卷积层也添加了全局平均池化层和softmax层;此架构包含大约六万个参数,是基本模型的十分之一;经过测试,系统在自闭症患儿数据集上的准确率达到70%,改进后的模型相较于之前获得了更高的识别精度。

    一种基于机器人的触觉数据感知分析方法

    公开(公告)号:CN113792792A

    公开(公告)日:2021-12-14

    申请号:CN202111078660.8

    申请日:2021-09-15

    Applicant: 厦门大学

    Abstract: 本发明公开一种基于机器人的触觉数据感知分析方法,所述机器人为接触端设有传感器的机械臂,所述基于机器人触觉的鲁棒感知分析方法包括如下步骤:构建材质样本数据库;选取预设的具有注意力机制模块的网络模型;将样本数据集输入网络模型进行训练并验证;将机械臂的传感器触觉数据输入训练完成的网络模型输出分析结果。提出了一种机械臂结合阵列式触觉传感器快速收集触觉数据的方案,通过机械臂快速按压收集触觉数据,每一次数据采集使用不同位姿下的机械臂,采用不同按压力度进行收集,能有效包括触摸时的不同接触状态。这种采样模式更加适应机器人操作的实际需求。

    基于区块链的短时停车车位租赁方法和装置以及设备

    公开(公告)号:CN113160433A

    公开(公告)日:2021-07-23

    申请号:CN202110443639.7

    申请日:2021-04-23

    Applicant: 厦门大学

    Abstract: 本发明公开了一种基于区块链的短时停车车位租赁方法,所述方法包括:响应于第一用户通过车位租赁系统预约短时停车的车位租赁请求;基于所述车位租赁请求查找存储于区块链中的车位租赁信息,并将匹配车位发送给所述第一用户以供选择;根据所述第一用户在所述匹配车位中选定目标车位后,按照预设的租赁规则建立租赁合约;获取所述第一用户的出发位置,并根据所述目标车位的所在位置生成最佳路线推送给所述第一用户;接收到所述目标车位对应的车位感应器检测车位已使用的触发信号时,通过获取所述第一用户的当前GPS位置,匹配所述当前GPS位置与所述目标车位的位置是否一致。能够利用车位主在空闲时间段将闲置的车位对外出租,能够方便车主快速、精准寻找车位,节约车主寻车位时间,并在一定程度上减少了由于乱停车带来的交通拥挤情况。

    一种应用于刑侦的微表情与宏表情片段识别方法

    公开(公告)号:CN112381036A

    公开(公告)日:2021-02-19

    申请号:CN202011343361.8

    申请日:2020-11-26

    Applicant: 厦门大学

    Abstract: 一种应用于刑侦的微表情与宏表情片段识别方法,步骤一:采集犯罪嫌疑人视频信息;步骤二:将视频数据转换成图像数据,并进行人脸定位;步骤三:将人脸视频序列数据分别进行微表情片段和宏表情片段的发现;步骤四:然后将发现的微表情和宏表情片段进行相应的微表情和宏表情的识别,得出结果。本发明通过对犯罪嫌疑人视频中发现微表情和宏表情片段并对其进行识别,可以帮助更好的捕捉宏微表情序列,消除了时间,光照,和头部移动的对结果的影响,有较高的鲁棒性和泛化能力,提高预测精度。

    应用于刑侦的基于深度森林的微表情识别方法

    公开(公告)号:CN110175578A

    公开(公告)日:2019-08-27

    申请号:CN201910456807.9

    申请日:2019-05-29

    Applicant: 厦门大学

    Abstract: 应用于刑侦的基于深度森林的微表情识别方法,涉及生物特征识别技术领域。借助专业的摄像机,对犯罪嫌疑人在讯问过程中的面部表情进行录像,将视频数据输入到客户端;将视频数据通过逐帧扫描的方法,识别出犯罪嫌疑人的脸部,截取脸部其出现的微表情,从起始、峰值到结束;将微表情图像数据进行归一化,检测人脸的关键点;将选取的关键点作为中心像素点,用DCP-TOP方法,从XY、XT、YT三个正交平面进行编码,提取图像的纹理特征;将纹理特征向量输入到系统预先训练好的深度森林模型里进行分类;将分类结果返回到客户端界面,为侦讯人员正确把握嫌犯供述的真伪提供了帮助。有较高的鲁棒性和泛化能力。预测精度高,分类效率高。

    应用于基础音乐视唱教育的视唱错误曲谱标注方法

    公开(公告)号:CN109461431A

    公开(公告)日:2019-03-12

    申请号:CN201811580835.3

    申请日:2018-12-24

    Applicant: 厦门大学

    Abstract: 应用于基础音乐视唱教育的视唱错误曲谱标注方法,涉及基础音乐视唱教育。提供可帮助用户提升自己音乐视唱方面能力的一种应用于基础音乐视唱教育的视唱错误曲谱标注方法。五线谱显示用户哼唱错误标注效果可以达到专业的标注的水平,标识精准率较高;错误标注运算效率较高,可以在3~5s之内完成错误标注过程,达到工业应用要求;错误标注抗噪能力较强,在有一定背景噪声的情况下也能较好的进行错误标注。

Patent Agency Ranking