目前在开源大模型领域,Llama3 无疑是最强的!这次Meta不仅免费公布了 8B和70B两个性能强悍的大模型,400B也即将发布,这是可以和GPT-4对打的存在!今天我们就来介绍3各本地部署方法,简单易懂,非常适合新手!

1. GPT4All :  适合低配置用户,可以在CPU/GPU上跑

1、【点击下载

2、【网盘下载

2.LMstudio ,支持下载多模型 8B/70B 等,模型选择更多!

点击下载

网盘下载

提醒:如果你不在海外,实在下载不了模型,

请通过网盘获取 【点击下载提取码:uBNq

3.Ollama,支持多平台!Windows / Mac /Linux 都可以运行 【点击下载

并在 Windows 上打开 WSL  功能:

安装Docker Desktop :【点击前往

然后本地安装webUI

(1)在CPU下运行:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

(2)支持GPU运行:

docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

安装完成通过本地地址:http://127.0.0.1:3000 进行访问

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。