本地部署开源大模型工具

Ollama

Ollama 让你能轻松在本地搭建和管理大型语言模型。命令行方式启动,为本地前端工具提供API。

标签:

Ollama 综合介绍

ollama是一个轻量级的本地语言模型运行框架,让用户能够容易地搭建和运行大型语言模型。它提供多种快速开始和安装选项,支持Docker,包含了丰富的库供用户选择。它的使用方法简单,提供了REST API,并有多种与社区整合的插件和扩展。

 

修改默认安装目录:https://github.com/ollama/ollama/issues/2859

 

Ollama

 

 

Ollama 功能列表

快速搭建和运行大型语言模型
支持macOS、Windows、Linux系统
提供ollama-python、ollama-js等库
包括Llama 2, Mistral, Gemma等预构建模型
支持本地和Docker两种安装方式
提供自定义模型功能
支持从GGUF和PyTorch转换模型
提供CLI操作指南
提供REST API支持

 

 

Ollama 使用帮助

通过ollama网站和GitHub页面获取安装脚本和指南
使用提供的Docker镜像进行安装
通过CLI操作进行模型创建、拉取、移除和复制
初始化和运行本地构建
运行模型并与其交互

 

 

Ollama 支持的部分模型

 

ModelParametersSizeDownload
Llama 27B3.8GBollama run llama2
Mistral7B4.1GBollama run mistral
Dolphin Phi2.7B1.6GBollama run dolphin-phi
Phi-22.7B1.7GBollama run phi
Neural Chat7B4.1GBollama run neural-chat
Starling7B4.1GBollama run starling-lm
Code Llama7B3.8GBollama run codellama
Llama 2 Uncensored7B3.8GBollama run llama2-uncensored
Llama 2 13B13B7.3GBollama run llama2:13b
Llama 2 70B70B39GBollama run llama2:70b
Orca Mini3B1.9GBollama run orca-mini
Vicuna7B3.8GBollama run vicuna
LLaVA7B4.5GBollama run llava
Gemma2B1.4GBollama run gemma:2b
Gemma7B4.8GBollama run gemma:7b

 

 

Ollama 下载

相关导航