本地Ollama部署大语言模型离线版模型

技术2025-2-21

本地Ollama部署大语言模型离线版模型

开发推荐思考

1.安装Ollama

2.下载开源模型

魔搭社区https://www.modelscope.cn/

下载gguf格式模型文件,Q4的即可

创建Modelfile

内容为：

具体位置为gguf模型的位置地址。

3.在软件中使用

notion image

岸边的对话