金融FinGPT模型开源,对标BloombergGPT,训练参数可从61.7亿减少为367万,可预测股价
继Bloomberg提出了500亿参数的BloombergGPT,GPT在金融领域的应用受到了广泛关注,但BloombergGPT是一个非开源的模型,而且用到了Bloomberg自身独有的数据储备,并不利于金融大模型的广泛普及。
FinGPT: Open-Source Financial Large Language Models
Hongyang Yang, Xiao-Yang Liu, Christina Dan Wang
论文地址:
GitHub
1、完全开源:开源的训练数据、开源的模型。
2、数据中心化:尽管没有Bloomberg用到的独有数据,但FinGPT所用的所有数据都被集中、严格地清洗,保证了数据的质量,并向大众开放。
3、端到端的设计:包括输入层、数据加工层、大语言模型微调层和应用层。
4、BloombergGPT中缺少人类反馈强化学习,但这是GPT模型成功的关键,而FinGPT应用了这项技术。
5、轻量级的部署和微调,为了普及金融大模型,降低应用成本,应用了the Low-Rank Adaptation (LoRA) of LLMs技术,将可训练参数从61.7亿减少为367万。
FinGPT运用了各种各样的金融训练数据,包括金融新闻、公司公告、社交媒体、金融专业网站、学术资料等,多种多样的数据保证了FinGPT可以理解金融市场和做出金融决策。
值得注意的是,FInGPT提供了一套完善的机制应对实时数据,做出实时决策;使用者也可以很轻松地对下游任务进行微调。
还可以微调FinGPT来预测股价,由于股价预测任务微调时可以简单利用股价变动作为反馈,因此微调成本相对其它需要人类反馈的任务低得多。