Chatgpt很强大,开源的bloomz可以做些什么呢?效果如何?下面使用其70亿参数的模型测试一下效果。

运行环境:腾讯云P40(24G),deepspeed,transformers

使用模型:bigscience/bloomz-7b1-mt,支持中文

推理时GPU占用:14G+

1.情感分类-结果是对的

2.实体提取-结果不对

3.摘要-效果不佳

4.问答提取-效果不佳

5.相似问-效果不佳

6.翻译-直译?

结论:优点是能同时支持多类任务,缺点是效果与chatgpt相差甚远,即便是gpt3与chatgpt也相差甚远。预训练大模型gpt-3+指令微调+人类对齐=chatgpt。