-
公开(公告)号:CN119724493A
公开(公告)日:2025-03-28
申请号:CN202411800856.7
申请日:2024-12-09
Applicant: 厦门大学
Abstract: 一种基于生成式深度神经网络的促苏醒辅助机器人,涉及认知治疗领域。该机器人可以实现虚拟亲属影像陪护的功能,适用于认知治疗等领域。该机器人利用自然语言处理和深度学习等人工智能技术,辅助改善颅脑损伤患者的意识障碍并促进其苏醒。步骤:一:采集患者亲属的音视频或照片作为条件输入,获取待处理数据;二:对待处理数据进行去噪、目标检测和人脸识别等预处理步骤;三:运用深度学习模型,生成与目标音色相似的促苏醒陪护音频;四:基于生成的音频,使用图像处理算法对原始视频帧中的人物姿态、唇形和表情等进行匹配和调整;五:将合成后的视频帧重新组合为视频序列,输出给用户并保存。提供更便捷、有效的康复辅助。
-
公开(公告)号:CN114927143B
公开(公告)日:2024-09-13
申请号:CN202210422650.X
申请日:2022-04-21
Applicant: 厦门大学
Abstract: 本发明提供了计算机技术领域的一种基于深度学习的舞美效果自动生成方法及系统,方法包括如下步骤:步骤S10、获取音频数据,将所述音频数据切割为音频片段;步骤S20、对各所述音频片段进行预处理得到若干个第一单帧频域数组,对所述音频数据进行预处理得到第二单帧频域数组;步骤S30、对各所述第一单帧频域数组进行横向堆叠得到声谱图;步骤S40、将所述声谱图输入创建的愉悦度识别模型以及激活度识别模型得到对应的愉悦度和激活度;步骤S50、基于所述第二单帧频域数组选取音乐的幅度值;步骤S60、基于所述愉悦度、激活度以及幅度值自动生成舞美效果。本发明的优点在于:极大的提升了舞美效果生成的效率以及质量,极大的降低了舞美效果生成的成本。
-
公开(公告)号:CN114927143A
公开(公告)日:2022-08-19
申请号:CN202210422650.X
申请日:2022-04-21
Applicant: 厦门大学
Abstract: 本发明提供了计算机技术领域的一种基于深度学习的舞美效果自动生成方法及系统,方法包括如下步骤:步骤S10、获取音频数据,将所述音频数据切割为音频片段;步骤S20、对各所述音频片段进行预处理得到若干个第一单帧频域数组,对所述音频数据进行预处理得到第二单帧频域数组;步骤S30、对各所述第一单帧频域数组进行横向堆叠得到声谱图;步骤S40、将所述声谱图输入创建的愉悦度识别模型以及激活度识别模型得到对应的愉悦度和激活度;步骤S50、基于所述第二单帧频域数组选取音乐的幅度值;步骤S60、基于所述愉悦度、激活度以及幅度值自动生成舞美效果。本发明的优点在于:极大的提升了舞美效果生成的效率以及质量,极大的降低了舞美效果生成的成本。
-
公开(公告)号:CN114495232B
公开(公告)日:2025-01-24
申请号:CN202210101703.8
申请日:2022-01-27
Applicant: 厦门大学
IPC: G06V40/16 , G06V40/20 , G06V20/40 , G06V10/44 , G06V10/62 , G06V10/774 , G06V10/764 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明提供了动作识别技术领域的一种基于深度学习的课堂学生动作识别方法及系统,方法包括:步骤S10、对捕获的课堂视频进行剪辑得到若干个课堂子视频;步骤S20、通过人脸检测算法依次检测各课堂子视频中的人脸,进而将课堂子视频剪辑成若干个人脸子视频;步骤S30、分别提取各人脸子视频的静态特征图片以及动态特征图片,基于各静态特征图片以及动态特征图片构建训练数据集;步骤S40、基于深度学习创建一动作识别模型,利用训练数据集对动作识别模型进行训练;步骤S50、利用训练后的动作识别模型对摄像头捕捉的课堂视频进行实时的动作识别。本发明的优点在于:实现实时、准确的识别学生动作,以及时调整教学策略,进而极大的提升了教学质量。
-
公开(公告)号:CN119963679A
公开(公告)日:2025-05-09
申请号:CN202510101392.9
申请日:2025-01-22
Applicant: 厦门大学
Abstract: 一种基于AIGC的影视角色及场景图生成方法及系统,涉及人工智能。获取用户输入的剧本文字内容,提取角色描述及场景描述;通过大语言模型将角色描述及场景描述转换成标准格式的Prompt并输入Stable Diffusion,生成基准角色图或基准场景图。对于角色一致性:根据IP‑Adapter身份保持模块,输入基准参考图和文字描述生成同一角色的不同状态。对于场景一致性:从基准场景图中提取边缘轮廓信息,将轮廓信息、文字描述作为controlnet的输入,生成不同天气、光照的状态。提升AIGC生成的角色一致性和场景一致性,高效生成同一角色同一场景下不同状态,为生成角色小传、勘景选景提供参考。
-
公开(公告)号:CN119962496A
公开(公告)日:2025-05-09
申请号:CN202510101736.6
申请日:2025-01-22
Applicant: 厦门大学
IPC: G06F40/166 , G06N5/04
Abstract: 一种基于大语言模型的AI剧本生成、元素拆解的方法及系统,涉及计算机技术领域。旨在通过人工智能技术辅助剧本创作与拆解,提高电影制作效率。在剧本生成方面,用户通过输入故事简要概述及故事类型、基调、结构等关键信息,结合大语言模型提供的灵感与建议,快速搭建故事骨干,并逐步完善为成篇故事。用户可灵活修订,实现人机高效协同。在剧本拆解方面,系统利用大语言模型及预置提示词,自动拆解剧本中的人物、场景、道具及服装等元素,形成详尽描述,并去除非法输入与冗余信息,最终输出标准化Excel表格文件,便于剧组高效管理与利用。融合人类创作技巧与AI智能辅助,为电影制作带来降本增效的新途径,推动影视行业的智能化发展。
-
公开(公告)号:CN119893206A
公开(公告)日:2025-04-25
申请号:CN202510100849.4
申请日:2025-01-22
Applicant: 厦门大学
IPC: H04N21/44 , H04N21/439 , H04N21/854 , G06N5/04
Abstract: 一种基于Agent协作的AIGC长视频稳定生成方法及系统,涉及计算机技术领域。包括如下步骤:获取用户输入的剧本文字内容;采用预置的prompt预训练“剧组工作人员”Agent;将用户输入的剧本文字内容转换成分镜脚本,提取对话;从用户输入的剧本提取角色和场景的描述;从角色和场景的描述转换成Stable Diffusion的标准prompt;生成角色和场景的设定图;根据角色描述从音色库中选择符合角色设定的音色;音色克隆预训练模型从音色和对话文字生成对话音频;根据对话音频和角色图生成对话的视频;根据分镜脚本和对话视频剪辑成片。比起现有方法极大地提升AIGC长视频生成的角色一致性和视频质量稳定性。
-
公开(公告)号:CN117315089A
公开(公告)日:2023-12-29
申请号:CN202311251977.6
申请日:2023-09-26
Applicant: 厦门大学
IPC: G06T11/60 , G06V40/16 , G06V10/80 , G06V20/40 , G06N3/0475 , G06N3/0442 , G06N3/094
Abstract: 适用于影视后期制作的智能人脸替换技术,涉及视频处理。采用多任务学习的框架,将目标检测、人脸识别、人脸重建、人脸对齐、人脸融合等步骤统一为一个端到端的网络模型,实现了一体化的视频生成流程;采用注意力机制,增强了网络模型对输入视频中的人物区域和人脸特征的关注和提取能力,提高了生成结果的质量和稳定性;采用条件生成对抗网络,利用目标人物的照片或视频作为条件输入,生成与目标人物相似的二维人脸图像,实现多样性和可编辑性的视频生成;采用循环神经网络,利用前后帧之间的时序信息,保持生成结果的动态细节和时间连贯性,减少闪烁、抖动、失真等现象。相比现有技术具有更高效、更稳定、更灵活、更可控的优势。
-
公开(公告)号:CN114882553B
公开(公告)日:2024-07-12
申请号:CN202210422919.4
申请日:2022-04-21
Applicant: 厦门大学
IPC: G06V40/16 , G06V10/82 , G06V10/774 , G06V10/764 , G06V10/40 , G06V10/80 , G06N3/0464 , G06N3/08 , G06F17/16 , G06F17/18
Abstract: 本发明提供了表情识别技术领域的一种基于深度学习的微表情识别方法及系统,方法包括:步骤S10、交互型机器人通过3D摄像头获取图像流;步骤S20、交互型机器人通过人脸识别算法检测所述图像流中的人脸并进行截取,获取人脸数据流并上传服务器;步骤S30、服务器从所述人脸数据流中提取包括人脸动态数据和人脸静态数据的人脸数据组;步骤S40、服务器基于软编码输出创建一微表情识别模型,并对所述微表情识别模型进行训练;步骤S50、服务器将所述人脸数据组输入训练后的微表情识别模型得到微表情信息,并将所述微表情信息反馈给交互型机器人,交互型机器人基于接收的所述微表情信息进行互动响应。本发明的优点在于:极大的提升了微表情识别的准确率。
-
公开(公告)号:CN114927239B
公开(公告)日:2024-07-02
申请号:CN202210422918.X
申请日:2022-04-21
Applicant: 厦门大学
IPC: G16H70/40 , G16H50/70 , G06F18/2415
Abstract: 本发明提供了机器学习技术领域的一种应用于药物分析的决策规则自动生成方法及系统,方法包括:步骤S10、获取药物数据,提取药物数据的药物特征并构建数据集;步骤S20、计算数据集中各药物特征的方差、数据复杂度以及排列重要性,基于方差、数据复杂度以及排列重要性筛选重要特征;步骤S30、从重要特征中筛选包含n(n=1,2,3,…)个特征的特征子集,并计算各特征子集的排列重要性;步骤S40、按排列重要性的顺序在各特征子集上搜索使预测结果发生翻转时,各特征子集所需的最小特征变化量,进而生成类别边界;步骤S50、通过贝叶斯公式将类别边界描述成决策规则。本发明的优点在于:能为任意机器学习模型(包括不可解释的黑盒模型)生成高度可解释的决策规则。
-
-
-
-
-
-
-
-
-