通过Ollama Chatbox在本地部署AI大模型
Ollama是一款开源的本地大模型运行框架,旨在简化在本地计算机上运行、部署和交互大型语言模型(LLMs)的流程。它支持多种模型架构,如LLaMA 2、Mistral和Gemma等,用户可以根据自己的需求选择适合的模型。
首先从Ollama官网下载并安装,在win10/11下win+R打开运行,输入cmd,在命令窗口输入要安装大模型的地址,如:ollama run deepseek-r1:8b
安装deepseek大模型中如果下载速度变慢了,可以按ctrl+c暂停,再在命令行中输入一遍 ollama run deepseek-r1:8b 继续下载,直到成功安装。默认存放位置在C:\Users\(用户名)\.ollama\models\manifests\registry.ollama.ai\library\deepseek-r1
命令窗口与AI聊天比较简陋,可以通过UI界面实现,我们另外下载Chatbox AI官网:办公学习的AI好助手,全平台AI客户端,官方免费下载
Chatbox AI 是一款 AI 客户端应用和智能助手,支持众多先进的 AI 模型和 API,可在 Windows、MacOS、Android、iOS、Linux 和网页版上使用。
下载安装chatbox后,可以在设置中选择模型Ollama API,里面包括了很多各种接入方式,然后在下面模型里选择刚才下载的大模型。
Deepseek R1模型下载:deepseek-r1:8b
PageAssits官网:页面辅助 - 为您的本地AI提供的侧边栏和Web UI
Github中下载PageAssist浏览器插件:GitHub - n4ze3m/page-assist: Use your locally running AI models to assist you in your web browsing
Chrome应用商店下载:Page Assist - 本地 AI 模型的 Web UI - Chrome 应用商店
如果Ollama在线下载不了大模型,可以使用已下好的本地模型加载进去,本地下载好的一般是.gguf的文件
需要在文件夹中新建个Modelfile.txt文件,打开文件,在里面输入类似的代码:FROM D:\LM Studio\AI-Large model\LM\DeepSeek-R1-Distill-Qwen-7B-F16.gguf,保存下文件,退出再重命令下文件,去年后缀.txt即可。
在cmd命令窗口,输入:ollama create deepseek-r1:7B -f D:\Programs\ollama\Modelfile
其中红色文件是固定格式,蓝色为你创建的模型名称,最后是你创建的Modelfile文件的路径,回车再输入ollama list可以看到本地的所有模型,输入ollama run +模型名称即可运行