Linux Ubuntu 和 Mac ,Windows 部署离线通义千问1.8B参数 4-bit量化大模型详细教程 全网唯一

代码为我自己写的python程序，应该是全网最简单的大模型部署方案，一个模型文件1.3GB，一个python代码即可开始玩耍~

首先说明，本文下面的内容需要一点点python基础，需要会安装python和pip安装依赖库，如果你不会或者不想这么麻烦，只想要下载就能马上使用的大模型离线整合包，那抱歉，目前只支持Windows，Windows系统的离线整合包文章介绍链接为：

https://zhuanlan.zhihu.com/p/670964259

https://mp.weixin.qq.com/s/W-b7AUXlCCggLpz_8IkLBQ

https://mp.weixin.qq.com/s/RD0rbJakH3HS-DaIZZ-Lmw

下面开始正文

CPU运行：

1安装python，并且需要保证python版本大于3.8，最好在虚拟环境里面安装；

2安装llamacpppython

安装指令：

pipinstallllama-cpp-python-ihttps://pypi.tuna.tsinghua.edu.cn/simple/

3下载模型文件，百度网盘链接：https://pan.baidu.com/s/1WQQ8kaDilaagjoK5IrYZzA提取码：1111；里面有一个通义千问大模型的有闪退的旧版本压缩文件，下载后解压文件夹里面有一个名