手机扫描下载
软件指数:5 分
LXmuSiC洛雪音乐播放器linux版471.9Mlinux软件
gparted分区工具553.9Mlinux软件
百度网盘Linux版本98.4Mlinux软件
ubuntu桌面版和服务器版5.30Glinux软件
腾讯文档linux客户端146.3Mlinux软件
富途牛牛linux版345.5Mlinux软件
qq linux版本494Mlinux软件
wps office linux版本648.5Mlinux软件
腾讯会议Linux版本153.8Mlinux软件
搜狗输入法linux版本318.6Mlinux软件
钉钉linux最新版本339.8Mlinux软件
腾讯视频linux客户端47.9Mlinux软件
软件介绍软件截图相关版本网友评论下载地址
ollama github linux安装包部署到本地之后,就可以实现linux系统上运行deepseek,目前deepseek要想在电脑上运行,就需要搭配ollama使用,但是注意,部分用户ollama安装deepseek失败,主要原因是大家下载了不匹配的大模型,大家务必要根据电脑的配置和内存,下载和部署对应的模型版本。
Ollama支持多种不同的硬件加速选项,包括纯CPU推理和各类底层计算架构,如AppleSilicon。这使得Ollama能够更好地利用不同类型的硬件资源,提高模型的运行效率。作为一个开源框架,专门设计用于在本地运行大型语言模型。它的主要特点是将模型权重、配置和数据捆绑到一个包中,从而优化了设置和配置细节,包括GPU使用情况,简化了在本地运行大型模型的过程。Ollama支持macOS和Linux操作系统,并且已经为Windows平台发布了预览版。Ollama的一个重要优势是其易用性。安装过程简单,例如在macOS上,用户可以直接从官网下载安装包并运行。对于Windows用户,官方推荐在WSL2中以Linux方式使用命令安装。安装完成后,用户可以使用命令行工具来下载和运行不同的模型。Ollama还提供了对模型量化的支持,这可以显著降低显存要求。例如,4-bit量化可以将FP16精度的权重参数压缩为4位整数精度,从而大幅减小模型权重体积和推理所需显存。这使得在普通家用计算机上运行大型模型成为可能。
Ollama的项目结构主要包括以下部分:
api:用Go编写的客户端API库。
discover:负责扫描系统中的可用模型、加载配置文件,或者帮助用户查找符合特定需求的模型。
docs:项目的文档目录,包括安装步骤、API文档、常见问题解答(FAQ)和示例代码等。
envconfig:包含环境配置文件或脚本
format:用于单位和时间的格式处理的工具。
app:桌面应用程序(主要是一个托盘)。
auth:用于用户身份验证,确保只有授权用户才能访问特定的功能或模型。
cmd:命令和相关的处理程序。
convert:用于将不同的模型格式转换为Ollama可以使用的格式
integration:用于将Ollama与其他系统或应用程序集成的代码。这些集成可能包括与Web服务、数据库、API、第三方服务、其他框架等的集成。
macapp:mac桌面应用程序。
scripts:包含构建、测试、发布等操作所需的脚本文件。确保项目能够在不同环境中顺利编译和运行。
server:用Go编写的Web服务实现。
version:版本信息。
openai:用于Ollama的OpenAIAPI兼容封装。
parser:模型信息和消息的解析器。
progress:显示加载进度的实用程序。
readline:命令输入工具用于用户与命令行工具的交互。
Ollama的构建系统利用Go提供的构建工具,并结合cmake来处理C/C++部分的编译。这两个构建系统共存,以构建不同的部分:
CMake:用于构建llama.cpp,并提供接口。
Go构建系统:编译、链接和打包其余部分,以生成Ollama的应用程序和CLI。
核心原理:
独立性:强调在本地环境中运行,减少对外部网络和云服务的依赖,提高数据安全性。
一致性:通过版本控制和依赖管理,确保模型在不同环境中的一致性和可重复性。
封装性:通过容器化技术,Ollama将模型及其运行时环境封装在一起,确保一致的运行环境。
便捷性:通过简单的CLI工具,用户可以快速进行模型的部署和管理,降低了操作复杂性。
注意:如果之前已经安装了旧版本的ollama,那么需要先完成手动卸载,sudo rm -rf /usr/lib/ollama
远程安装教程
官网提供了一条命令行快速安装的方法。
curl -fsSL https://ollama.com/install.sh | shCopy to clipboardErrorCopied
此命令将自动下载最新版本的 Ollama 并完成安装
本地安装教程
一、安装
1.下载并解压与操作系统匹配的安装包
curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz
Copy to clipboardErrorCopied
AMD GPU下载:
curl -L https://ollama.com/download/ollama-linux-amd64-rocm.tgz -o ollama-linux-amd64-rocm.tgz
sudo tar -C /usr -xzf ollama-linux-amd64-rocm.tgz
Copy to clipboardErrorCopied
ARM 64下载:
curl -L https://ollama.com/download/ollama-linux-arm64.tgz -o ollama-linux-arm64.tgz
sudo tar -C /usr -xzf ollama-linux-arm64.tgz
Copy to clipboardErrorCopied
2.2 启动 Ollama并验证
输入以下命令启动 Ollama:
ollama serve
Copy to clipboardErrorCopied
另开启一个终端,输入以下命令,验证ollama是否运行成功
ollama -v
Copy to clipboardErrorCopied
2.3 将 Ollama 添加为自启动服务(推荐)
首先,为 Ollama 创建用户和组:
sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)
Copy to clipboardErrorCopied
然后在该位置:/etc/systemd/system/ollama.service 创建服务文件
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"
[Install]
WantedBy=default.target
Copy to clipboardErrorCopied
最后启动服务:
sudo systemctl daemon-reload
sudo systemctl enable ollama
Copy to clipboardErrorCopied
三、更新
再次运行之前的安装语句来更新 Ollama:
curl -fsSL https://ollama.com/install.sh | sh
Copy to clipboardErrorCopied
或者重新下载最新的Ollama包:
curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz
Copy to clipboardErrorCopied
四、安装特定版本
设置 OLLAMA_VERSION字段,,可以安装对应的版本
curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.5.7 sh
Copy to clipboardErrorCopied
五、查看日志
查看作为启动服务运行的 Ollama 的日志:
journalctl -e -u ollama
删除 Ollama 服务:
sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.serviceCopy to clipboardErrorCopied
从 bin 目录中删除 Ollama 二进制文件: /usr/local/bin,/usr/bin ,/bin
sudo rm $(which ollama)
删除下载的模型和 Ollama 服务用户和组:
sudo rm -r /usr/share/ollama
sudo groupdel ollama
删除下载的库文件
sudo rm -rf /usr/local/lib/ollama
ollama serve #启动ollama
ollama create #从模型文件创建模型
ollama show #显示模型信息
ollama run #运行模型
ollama pull #从注册表中拉取模型
ollama push #将模型推送到注册表
ollama list #列出模型
ollama cp #复制模型
ollama rm #删除模型
ollama help #获取有关任何命令的帮助信息
更多linux版本,可以查看:https://github.com/ollama/ollama/releases/tag/v0.9.0(若打不开,需要加速器或科学上网工具)
谷歌浏览器linux版本111.9Mlinux软件
wps office linux版本648.5Mlinux软件
360安全浏览器linux版122.3Mlinux软件
同花顺linux版98.6Mlinux软件
红莲花安全浏览器linux安装包97.0Mlinux软件
ubuntu桌面版和服务器版5.30Glinux软件
qq linux版本494Mlinux软件
谷歌浏览器linux版本111.9Mlinux软件
wps office linux版本648.5Mlinux软件
腾讯会议Linux版本153.8Mlinux软件
搜狗输入法linux版本318.6Mlinux软件
钉钉linux最新版本339.8Mlinux软件