清华联合字节开源听觉大语言模型SALMONN

清华大学与字节跳动火山语音团队合作，推出认知导向开源听觉大语言模型SALMONN，该模型不仅能够感知和理解各种类型的音频输入，可胜任英语语音识别、语音翻译、情感识别、音频字幕生成任务，还涌现出多种未学习过的多语言和跨模态能力。