Ollama精简版

Ollama是一款非常实用的大型语言模型本地化软件，软件界面简洁，操作简单易用，采用的是轻量级框架，不会占用太多的资源，提供了多种命令，方便用户进行模型管理和推理，如查看帮助信息、查看可用模型、拉取模型、删除模型、检查模型状态等，是一款很不错的软件，对精简版感兴趣的小伙伴快来下载体验吧！

Ollama软件特色

1、简化部署：

Ollama目标在于简化在 Docker 容器中部署大型语言模型的过程，使得非专业用户也能方便地管理和运行这些复杂的模型。

2、轻量级与可扩展：

作为轻量级框架，Ollama占用资源少，可扩展性好，允许用户根据需要调整配置，以适应不同规模的项目和硬件条件。

3、预构建模型库：

包含一系列预先训练好的大型语言模型，用户可以直接选用这些模型应用于自己的应用程序，无需从头训练或自行寻找模型源。

4、API支持：

提供了一个简洁的 API，使得开发者能够轻松创建、运行和管理大型语言模型实例，降低了与模型交互的技术门槛。

5、模型导入与定制：

从 GGUF 导入：支持从特定平台（如GGUF，假设这是一个模型托管平台）导入已有的大型语言模型。

从 PyTorch 或 Safetensors 导入：兼容这两种深度学习框架，允许用户将基于这些框架训练的模型集成到 Ollama 中。

Ollama软件功能

1、硬件加速和资源优化

GPU加速：在支持CUDA或Metal的设备上，通过GPU可以显著提高推理速度。

资源管理：通过环境变量优化硬件资源的使用(如Olama _ keep _ alive控制模型的内存驻留时间，Olama _ max _ VRAM限制内存占用)。

2、API和多语言支持

RESTAPI：兼容OpenAI接口标准，开发者可以通过/api/generate和/api/chat接口生成文本或实现对话功能。

客户端集成：支持Python、Java、C#等语言调用，方便与其他应用(如Web界面、桌面客户端)集成。

3、本地化部署

Ollama支持在macOS、Linux和Windows(预览版)系统上运行，不依赖云服务，用户可以通过Docker容器或直接安装包进行部署，以确保数据隐私和低延迟响应。

4、模型管理便捷

模型仓库：提供预建的模型库(如Llama3、Phi3、Gemma2等)，用户可以通过ollamapull快速下载。

自定义模型：支持通过Modelfile定义模型参数(如温度值、系统提示等)，并基于现有模型创建个性化版本，比如可让模型以特定角色(如马里奥)回答问题。

多模型并行：支持同时加载多个模型，通过调整num_ctx参数控制上下文长度。

ollama本地部署需要什么配置?

Ollama安装教程

1、解压后，运行ollamasetup.exe，弹出安全警告，点击“运行”。

2、开始安装，点击“install”，片刻后就能安装完成。

Ollama更新日志

v0.23.2

发生了哪些变化

ollama launch 由于第三方集成功能仅限于Anthropic模型使用，因此该版本不再包含Claude Desktop。

使用ollama launch claude-desktop --restore可以将Claude Desktop恢复到正常状态。

现在，/api/show类型的响应已被缓存起来，这使得平均延迟时间减少了约6.7倍。这样一来，像VS Code这样的集成工具的加载速度也会随之提升。

在管理发布集成时，备份流程得到了优化。

MLX运行器中，图像生成的效果更为清晰美观。

v0.23.1

有哪些变化

- 由@dhiltgenin#15845进行的更新，修复了MLX和MLX-C中的多线程相关问题。

- 由@ParthSareenin#15904将Go语言的版本升级到1.26。

- 由@pdevinein#15980添加了对Gemma 4 MTP协议的推测性解码功能。

v0.23.0

发生了哪些变化

使用ollama launch claude-desktop启动Claude桌面版

Ollama应用程序现在会根据服务器推荐的算法，展示出精选出的模特形象。

通过在Windows系统中启用IPv4回环地址，解决了OpenClaw网关的超时问题。感谢@UniquePratham的帮助。

硬化金属初始化机制，用于妥善处理GGML内核编译失败的情况。

v0.20.4

发生了哪些变化

mlx：利用NAX提升M5的性能

gemma4：启用闪光提示功能

v0.20.3

发生了哪些变化

Gemma 4工具调用功能的改进之处

已在Ollama应用中添加了最新款型号。

OpenClaw修复了与启动TUI相关的问题。

v0.20.2

发生了哪些变化

应用：默认情况下，新聊天窗口会直接显示在应用的主界面中，而不是通过其他方式打开。@jmorgancain#15312

v0.20.0

发生了哪些变化

文档：更新Python文档@ParthSareenin#15152

mlx：请在处理流程中尊重`add_bos_token`的设置。@dhiltgenin#15185

分词器：通过添加SentencePiece式的BPE分割功能来实现相应支持@dhiltgenin#15162