一种智能的多模态对话系统及方法

    公开(公告)号:CN119724188A

    公开(公告)日:2025-03-28

    申请号:CN202411984568.1

    申请日:2024-12-31

    Applicant: 厦门大学

    Abstract: 本发明涉及一种智能的多模态对话系统及方法,其中系统包括:多模态输入处理模块负责实时采集和处理用户的语音与视频输入,通过特殊的数据标记机制确保信息的准确传递。语音识别处理模块:采用创新的分段累积机制和双重过滤策略,确保语音识别的准确性和连贯性。LLM控制器模块:通过智能分析实现模型的动态选择,平衡系统性能和资源消耗。响应生成模块:负责整合模型输出并生成最终响应,确保对话的自然流畅。本发明能够根据对话内容智能判断使用合适的模型类型,通过特殊的数据标记和处理机制实现多模态信息的高效整合。

Patent Agency Ranking