公开(公告)号：CN119226460A

公开(公告)日：2024-12-31

申请号：CN202411252439.3

申请日：2024-09-06

Applicant: 十堰市太和医院(湖北医药学院附属医院)

Inventor： 赵亮 ,  马晗 ,  罗杰 ,  宗邱昊 ,  许仁园 ,  何强 ,  王艺琪

IPC: G06F16/332 ,  G06F16/33 ,  G06F16/435 ,  G06F16/438

Abstract: 本发明公开了一种多媒体智能交互方法、装置及存储介质，涉及人工智能医疗健康领域。获取多模态的用户输入信息，利用输入分析模型，得到用户输入文本；根据用户输入文本，利用大模型得到智能体回复信息；根据所述智能体回复信息，利用多媒体生成模型或检索技术，得到智能体响应；用户跟多媒体内容进行交互，产生相应结果进入下一轮交互。一方面，智能体不仅可以识别用户键入的文字信息，还增加了结合用户与屏幕操作的需求分析，大幅提升了沟通方式的灵活度与沟通效率；另一方面，智能体可以图形、图像、视频、动画等不限于文字的方式向用户传达信息、解释问题，从而在会话中实现复杂内涵的表达和非语言信息的传递，提升智能体的服务质量。