【AI开源大模型】Salesforce XGen-7B 支持长序列建模：在 8K 输入序列长度上训练的LLM

目录

TLDR

Why XGen-7B with 8K Sequence Length为什么选择具有 8K 序列长度的 XGen-7B

Pre-training Data预训练数据

Training Details培训详情

Results on Standard Benchmarks标准基准的结果

(i) MMLU(一) MMLU

(ii) General Zero-shot Results(ii) 一般零样本结果