LLaMA：开放高效的基础语言模型

我们介绍了 LLaMA，这是一组基础语言模型，参数范围从 7B 到 65B。我们在数万亿个令牌上训练我们的模型，并表明可以仅使用公开可用的数据集来训练最先进的模型，而无需诉诸专有和不可访问的数据集。特别是，LLaMA-13B 在大多数基准测试中都优于 GPT-3 (175B)，而 LLaMA-65B 可与最佳模型 Chinchilla-70B 和 PaLM-540B 竞争。我们将所有模型发布给研究社区。

设置
在带有 pytorch/cuda 的 conda 环境中，运行：

pip install -r requirements.txt

然后在这个存储库中：

pip install -e .

下载
一旦您的请求获得批准，您将收到下载分词器和模型文件的链接。download.sh使用电子邮件中提供的签名 url编辑脚本，以下载模型权重和分词器。

推理
所提供的example.py可以在单个或多个 gpu 节点上运行，并将torchrun输出两个预定义提示的完成。TARGET_FOLDER按照定义使用download.sh：

torchrun --nproc_per_node MP example.py --ckpt_dir $TARGET_FOLDER/model_size --tokenizer_path $TARGET_FOLDER/tokenizer.model

不同的模型需要不同的 MP 值：

模型 国会议员
7B 1个
13B 2个
33B 4个
65B 8个
常问问题
1. download.sh 脚本在 MacOS X 中的默认 bash 上不起作用
2.后代不好！
3. CUDA内存不足错误
4.其他语言
参考
LLaMA：开放高效的基础语言模型——https ://arxiv.org/abs/2302.13971

@article{touvron2023llama,
  title={LLaMA: Open and Efficient Foundation Language Models},
  author={Touvron, Hugo and Lavril, Thibaut and Izacard, Gautier and Martinet, Xavier and Lachaux, Marie-Anne and Lacroix, Timoth{\'e}e and Rozi{\`e}re, Baptiste and Goyal, Naman and Hambro, Eric and Azhar, Faisal and Rodriguez, Aurelien and Joulin, Armand and Grave, Edouard and Lample, Guillaume},
  journal={arXiv preprint arXiv:2302.13971},
  year={2023}
}

下载地址：