虽然大型语言模型在文本生成AI音乐方面已经表现得相当出色,但它们在音乐这一人类创造性领域的表现却还有待提高。然而,近日推出的ChatMusician打破了这一局面,成为了一个集成了内在音乐能力的开源大型语言模型。

ChatMusician论文地址:AI不离谱,大语言模型ChatMusician可以理解曲谱生成AI音乐-喜好儿aigc

ChatMusician是基于LLaMA2模型进行深度优化的,它采用文本兼容的音乐表示法——ABC表示法,进行了持续的预训练和微调。这意味着音乐在ChatMusician中不仅仅是一种附加功能,而是被视为与文本同等重要的第二语言。

令人惊讶的是,尽管ChatMusician具备了强大的音乐处理能力,但它的语言能力并没有因此受损。相反,在某些测试中,它甚至能够取得比原版LLaMA2更高的MMLU分数,显示出音乐与语言之间的互补性。ChatMusician的出色表现不仅仅局限于音乐理解。它还能够根据文本、和弦、旋律、主题和音乐形式等元素创作出结构完整、富有创意的音乐作品。这种能力使得它在与GPT-4等先进模型的比较中脱颖而出,展现了LLMs在音乐创作领域的巨大潜力。为了验证ChatMusician的音乐理解能力,研究团队进行了一系列严格的基准测试。在精心策划的大学级音乐理解基准测试MusicTheoryBench上,ChatMusician在零样本设置下明显超越了LLaMA2和GPT-3.5,证明了其卓越的音乐处理能力。