如何允许本地部署的ollama 外网访问——Linux,Windows

  • 2025/01/30
  • 辰汐, ChenXi

如何允许本地部署的ollama 外网访问

在数据安全和隐私愈发受到重视的当下,许多人都在寻找既高效又能保障数据自主可控的工具。本地部署的应用程序和工具逐渐成为热门选择,而 ollama 正是其中一颗耀眼的新星。它为用户提供了一种全新的、本地化的体验,在众多本地部署工具中脱颖而出。用 Ollama API 调用本地大模型,通过 localhost:11434 就能搞定;(当然,如果你的是Windows系统,ollama是直接部署的,但是调试API接口的应用是在Docker里面的,此时我们仍可以通过http://host.docker.internal:11434来访问)但是,想在其他电脑上用 IP 地址调用,可能会存在问题。

在Linux环境中如何通过IP来访问接口

1、首先停止ollama服务:systemctl stop ollama

2、修改ollama的service文件:vim /etc/systemd/system/ollama.service在[Service]下边增加两行:

Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"

(当然也可以使用别的编辑器:

sudo nano /etc/systemd/system/ollama.service

按Ctrl+S保存,Ctrl+X退出)

或者如果要限制端口就加上软件

Environment="OLLAMA_HOST=0.0.0.0:11434" 
Environment="OLLAMA_ORIGINS=*"
//端口可根据实际情况修改

3、重载daemon文件 systemctl daemon-reload
4、启动ollama服务 systemctl start ollama

 

在Windows环境中如何通过IP来访问接口

1、首先停止ollama服务的允许。由于windows下安装的ollama不是一个标准的windows service,所以只能直接kill两个ollama进程。
2、为当前windows系统添加环境变量:电脑-属性-高级系统设置-环境变量
变量:OLLAMA_HOST,值:0.0.0.0:11434
3、关掉已打开的命令行窗口,打开新命令行,用ollama serve或者ollama start来启动ollama服务,此时ollama服务在启动时将读取环境变量中的OLLAMA_HOST,支持IP端口访问


附:
Vim操作方法:
  • i — 切换到输入模式,在光标当前位置开始输入文本。
  • x — 删除当前光标所在处的字符。
  • : — 切换到底线命令模式,以在最底一行输入命令。
  • a — 进入插入模式,在光标下一个位置开始输入文本。
  • o:在当前行的下方插入一个新行,并进入插入模式。
  • O — 在当前行的上方插入一个新行,并进入插入模式。
  • dd — 剪切当前行。
  • yy — 复制当前行。
  • p(小写) — 粘贴剪贴板内容到光标下方。
  • P(大写)– 粘贴剪贴板内容到光标上方。
  • u — 撤销上一次操作。
  • Ctrl + r — 重做上一次撤销的操作。
  • :w — 保存文件。
  • :q — 退出 Vim 编辑器。
  • :q!— 强制退出Vim 编辑器,不保存修改。
图片上传链接信息
img