Chatgpt很强大,开源的bloomz可以做些什么呢?效果如何?下面使用其70亿参数的模型测试一下效果。
运行环境:腾讯云P40(24G),deepspeed,transformers
使用模型:bigscience/bloomz-7b1-mt,支持中文
推理时GPU占用:14G+
1.情感分类-结果是对的
2.实体提取-结果不对
3.摘要-效果不佳
4.问答提取-效果不佳
5.相似问-效果不佳
6.翻译-直译?
结论:优点是能同时支持多类任务,缺点是效果与chatgpt相差甚远,即便是gpt3与chatgpt也相差甚远。预训练大模型gpt-3+指令微调+人类对齐=chatgpt。