一种基于图神经网络的舆情检测方法及系统

    公开(公告)号:CN117520664A

    公开(公告)日:2024-02-06

    申请号:CN202311532373.9

    申请日:2023-11-17

    Applicant: 厦门大学

    Abstract: 本发明公开了一种基于图神经网络的舆情检测方法及系统,涉及舆情检测技术领域。该方法包括:基于用户评论数据构建实时动态图;将实时动态图输入舆情检测模型中,确定舆情检测结果;舆情检测模型是利用社交网络的用户历史评论数据,对异常检测框架进行训练后得到的;异常检测框架包括依次连接的改进图神经网络和长短期记忆神经网络;改进图神经网络是在图神经网络中添加多层感知机制和自注意力机制后得到的;多层感知机制用于进行边类型检测。本发明在图神经网络中添加多层感知机制和自注意力机制后得到改进图神经网络,结合长短期记忆神经网络进行舆情检测,能够提高舆情检测精度。

    一种感知环境的语音驱动虚拟人姿态合成方法

    公开(公告)号:CN113838218B

    公开(公告)日:2023-10-13

    申请号:CN202111117800.8

    申请日:2021-09-24

    Applicant: 厦门大学

    Abstract: 一种感知环境的语音驱动虚拟人姿态合成方法,涉及动作合成。对第一网络输入一段语音音频,输出对应的文本内容;将文本内容输入到人物关系模块,输出 三元组;对第二网络输入一张场景图片,结合三元组中的物体,输出目标物体的坐标;对第三网络输入初始人体动作骨架,三元组中的动作、第一网络输入的语音音频,输出人体动作骨架序列;输入人的坐标点作为起点,结合第二网络输出的目标物体的坐标,输入第四网络中,结合从先验高斯过程分布中的随机采样,生成从起点坐标指向目标坐标的运动轨迹;将人体动作骨架序列与运动轨迹进行时间对齐后,输入第五网络中,输出矫正的人体骨架序列。能融合图像、音频、文本等多模态信息。

    一种感知环境的语音驱动虚拟人姿态合成方法

    公开(公告)号:CN113838218A

    公开(公告)日:2021-12-24

    申请号:CN202111117800.8

    申请日:2021-09-24

    Applicant: 厦门大学

    Abstract: 一种感知环境的语音驱动虚拟人姿态合成方法,涉及动作合成。对第一网络输入一段语音音频,输出对应的文本内容;将文本内容输入到人物关系模块,输出 三元组;对第二网络输入一张场景图片,结合三元组中的物体,输出目标物体的坐标;对第三网络输入初始人体动作骨架,三元组中的动作、第一网络输入的语音音频,输出人体动作骨架序列;输入人的坐标点作为起点,结合第二网络输出的目标物体的坐标,输入第四网络中,结合从先验高斯过程分布中的随机采样,生成从起点坐标指向目标坐标的运动轨迹;将人体动作骨架序列与运动轨迹进行时间对齐后,输入第五网络中,输出矫正的人体骨架序列。能融合图像、音频、文本等多模态信息。

    通过WordNet嵌入进行测试和更新的树形网络方法

    公开(公告)号:CN108681775A

    公开(公告)日:2018-10-19

    申请号:CN201810517482.6

    申请日:2018-05-25

    Applicant: 厦门大学

    CPC classification number: G06N3/084 G06N3/0454

    Abstract: 通过WordNet嵌入进行测试和更新的树形网络方法,涉及图片智能分类。构建树形网络;预训练;基于SVM的动态剪枝,在测试过程中,可以动态剪枝特征映射的激活值过低的节点和节点的子树,因为若节点的激活值太低,则该节点表示的类的概率较低,因此后代节点的概率会较低并且可以忽略;每张特征图的激活值之和的具有较强的线性可分性,因此使用SVM在测试过程中进行模型的加速;基于分支的在线更新,使用检测到的图像作为训练样本,将预测概率高的样本回传给树形网络进行训练。

    一种三维人体稠密表面运动场重建方法

    公开(公告)号:CN106683181A

    公开(公告)日:2017-05-17

    申请号:CN201710009779.7

    申请日:2017-01-06

    Applicant: 厦门大学

    Abstract: 一种三维人体稠密表面运动场重建方法,涉及计算机视觉中的三维重建技术。三维模板数据准备与预处理;数据采集与初始配准;人体表面数据的分段跟踪与配准;人体表面数据的精确跟踪与重建。采用单个RGBD传感器进行人体稠密表面运动场重建,所提出的方法能有效克服单个RGBD传感器采集数据不完整导致重建失败的困难。首先利用人体语义信息对跟踪模板进行分割,然后利用分段跟踪的方法约束了初始配准时的优化空间,大幅度提高匹配稳定性。最后再放弃分段约束对所有顶点进行优化,实现精确跟踪与重建。使单个RGBD传感器进行稠密的动态人体表面重建成为可能,设备成本低廉,操作简单,重建稳定,重建质量高。

    一种利用语音信息的实时视频人脸区域时空一致合成方法

    公开(公告)号:CN113470170B

    公开(公告)日:2024-10-22

    申请号:CN202110750794.3

    申请日:2021-07-02

    Applicant: 厦门大学

    Abstract: 一种利用语音信息的实时视频人脸区域时空一致合成方法,涉及深度学习和三维人脸重建。利用三维人脸重建算法从视觉特征提取人脸身份信息、人脸形状信息、人脸姿态信息和人脸纹理信息,并利用深度学习技术从音频特征提取人脸表情信息,融合前者的视觉信息和后者的听觉信息,增强神经网络合成人脸表情的丰富性,快速准确地合成与当前说话内容相一致的人脸说话视频。引入参考人脸身份参数,可约束输出前后视频帧身份形象一致。引入时序上的上下文信息和平滑约束,抑制纹理抖动,使人脸生成算法能适用于视频。采用更为精简的神经网络结构,可实时生成人脸说话视频或去掉人脸遮挡物,可在安防监控、视频会议、虚拟形象、动画驱动等领域应用。

    一种受语音和背景声联合驱动的虚拟人头部运动合成方法

    公开(公告)号:CN113838173A

    公开(公告)日:2021-12-24

    申请号:CN202111111750.2

    申请日:2021-09-23

    Applicant: 厦门大学

    Inventor: 曾鸣 刘鹏飞

    Abstract: 一种受语音和背景声联合驱动的虚拟人头部运动合成方法,涉及计算机视觉。对待合成的人脸参考图像进行人脸三维重建,提取其人脸身份参数、人脸纹理参数;输入音乐音频流进行音声分离,分离出背景声音频流和语音音频流;提取音频特征,分别输出背景声特征序列和语音特征序列;分别向第一~四网络输入音频特征,输出头部姿态参数序列、面部表情参数序列;计算三维人脸模型形状和纹理并进行投影渲染,输出二维人脸渲染图像序列;对第五网络输入二维人脸渲染图像序列,输出纹理优化后的虚拟人头部形象视频帧序列。可驱动虚拟人头部姿态、面部表情、眼睛、口型等协同运动,合成神态表情丰富、动作感真实、表现力强的虚拟人头部形象视频。

    一种融合多维信息的说话人情绪感知方法

    公开(公告)号:CN113837072A

    公开(公告)日:2021-12-24

    申请号:CN202111117785.7

    申请日:2021-09-24

    Applicant: 厦门大学

    Abstract: 一种融合多维信息的说话人情绪感知方法,涉及深度学习和人的情绪感知技术领域。输入说话人的视频,从视频中提取说话人的图像及语音;将说话人的图像及语音输入多维特征提取网络,对语音中的语言文本和语言情绪进行提取,并从图像信息中提取出说话人的人脸表情特征;使用多维特征编码算法对多维特征提取网络的多种特征结果进行编码,将多维信息映射到一个共享的编码空间;使用多维特征融合算法对编码空间中的特征从低维到高维进行融合,取得多维信息在高维特征空间中与说话人情绪高度相关的特征向量;将融合的多维信息输入情绪感知网络进行预测,输出为说话人的情绪感知分布。可根据多维信息有效排除歧义性,精准预测说话人的情绪感知分布。

Patent Agency Ranking