公开(公告)号：CN117793423A

公开(公告)日：2024-03-29

申请号：CN202311594533.2

申请日：2023-11-27

Applicant: 华数传媒网络有限公司

Inventor： 文太益 ,  张佳仁 ,  余龙

IPC: H04N21/41 ,  H04N21/435 ,  H04N21/45 ,  H04N21/458

Abstract: 本发明提供了一种基于MQTT的融合升级系统、方法，其设置的融合服务器通过MQTT通信与待升级终端、融合升级管理平台建立全双工的长连接，进而形成一个整体的平台，建立了长连接之后待升级终端不再需要轮询升级服务器；融合服务器可通过MQTT通信连接可实时感知待升级终端的状态，提高升级速度和升级覆盖率；融合升级服务器通过AI Agent自动生成匹配终端的升级规则，拓宽了匹配终端的类型；融合升级服务器采用MQTT协议进行通信，使得匹配终端端口实现通用化。此外，融合升级平台通过大语言模型构建满足升级场景的专用模型，构建的专用模型通过AI Agent自动生成匹配终端专属的升级任务，使匹配终端能够精准升级。

公开(公告)号：CN117750060A

公开(公告)日：2024-03-22

申请号：CN202311546902.0

申请日：2023-11-17

Applicant: 华数传媒网络有限公司 ,  杭州华数传媒电视网络有限公司

Inventor： 沈子强 ,  陆忠强 ,  文太益 ,  张佳仁 ,  余龙 ,  虞国祥

IPC: H04N21/234 ,  H04N21/44 ,  G10L21/10 ,  G10L15/26 ,  G10L25/63 ,  G10L21/06

Abstract: 本发明提供的一种基于多模态AI手语生成系统、方法，其通过AI技术获取输入的多模态内容，将获取的视频字幕或音频转换为文本，与输入的音频、视频或文本共同输出；生成的文本通过LLM模型生成文本摘要，并将文本摘要的自然语序转换为手语语句；将分离出的音频、视频、文本和转换的文本通过情感计算进行情感融合，还原原视频情感；将手语语句按照词语查询动作库，动作库包括方言词目，增强了视频的亲和感和可理解度，生成手语动作序列；且按时间线查找对应的情感计算结果，生成头部表情动作；结合头部表情动作和手语动作序列，生成虚拟数字人手语视频，并对其进行渲染；最后将虚拟数字人手语视频与原视频通过FFmpeg编码生成带有手语的视频。

公开(公告)号：CN117786136A

公开(公告)日：2024-03-29

申请号：CN202311636841.7

申请日：2023-11-30

Applicant: 华数传媒网络有限公司

Inventor： 文太益 ,  余龙 ,  张佳仁 ,  胡岳鑫 ,  周扬

IPC: G06F16/48 ,  G06F16/438 ,  G06N5/04 ,  G06T13/40

Abstract: 本发明提供的一种基于AI个性化故事系统和互动故事视频生成方法，其通过AI技术对故事的角色、故事内容和互动环节进行个性化设计，使得生成的数字人视频更贴合实际生活；本发明中通过获取用户上传的自定义图片、视频或音频，生成家庭成员的数字分身，通过家庭成员来讲故事，增加了数字人与用户之间亲切感；通过输入提示词，获取对应的故事文本、问答文本或插图，分析故事情感生成数字人音频语调、表情，驱动数字人生成数字人动作，结合故事音频和插图生成对应的数字人视频，使故事能够通过家庭成员讲故事，提高用户的体验感；互动过程中，本发明通过采集用户表情和问题，在故事库问答中查找或通过LLM推算出对应的问题答案并快速反馈给用户。