Ollama 提供商
使用 Ollama 在本地运行开源模型,保护隐私并节省成本。
前置步骤
- 安装 Ollama:ollama.ai
- 拉取模型:
ollama pull llama3.2 - 启动服务:
ollama serve - 验证:
ollama list
配置
常用模型
拉取模型:
快速调用
配置选项
GPU 加速
Ollama 在 GPU 可用时自动启用:
- macOS:Metal(Apple Silicon)
- Linux:CUDA(NVIDIA)
- Windows:CUDA(NVIDIA)
内存需求
常见问题
连接失败
- 确认 Ollama 正在运行:
ollama serve - 检查 base_url 设置
- 默认端口:11434
内存不足
- 使用更小的模型
- 减小
num_ctx值 - 关闭其他占用内存的应用
响应缓慢
- 检查 GPU 是否正常加速
- 使用更小的模型
- 减少上下文长度