金亚洲技术笔记

凡是过往,皆为序章。

Ubuntu搭建本地大数据模型

Posted on   » 杂七杂八 • 969 words • 2 minute read

1. 系统准备与信息确认

# 确认显卡硬件信息及当前使用的驱动
$ lspci -nnk | grep -i vga -A3
01:00.0 VGA compatible controller [0300]: NVIDIA Corporation AD107 [GeForce RTX 4060] [10de:2882] (rev a1)
        Subsystem: ASUSTeK Computer Inc. AD107 [GeForce RTX 4060] [1043:8916]
        Kernel driver in use: nouveau
        Kernel modules: nvidiafb, nouveau

# 确认 Ubuntu 版本
$ lsb_release -a
No LSB modules are available.
Distributor ID: Ubuntu
Description:    Ubuntu 24.04.4 LTS
Release:        24.04
Codename:       noble

# 更新系统包列表
$ sudo apt update
$ sudo apt upgrade -y

2. 识别并选择推荐驱动版本

# 查看可用的 NVIDIA 驱动版本
$ ubuntu-drivers devices
== /sys/devices/pci0000:00/0000:00:01.0/0000:01:00.0 ==
modalias : pci:v000010DEd00002882sv00001043sd00008916bc03sc00i00
vendor   : NVIDIA Corporation
model    : AD107 [GeForce RTX 4060]
driver   : nvidia-driver-590 - distro non-free
driver   : nvidia-driver-570-server-open - distro non-free
driver   : nvidia-driver-590-open - distro non-free
driver   : nvidia-driver-535-server - distro non-free
driver   : nvidia-driver-535-server-open - distro non-free
driver   : nvidia-driver-580-server-open - distro non-free
driver   : nvidia-driver-570 - distro non-free
driver   : nvidia-driver-535 - distro non-free
driver   : nvidia-driver-580-open - distro non-free recommended  # <-- 推荐安装
driver   : nvidia-driver-590-server - distro non-free
driver   : nvidia-driver-580-server - distro non-free
driver   : nvidia-driver-570-open - distro non-free
driver   : nvidia-driver-570-server - distro non-free
driver   : nvidia-driver-590-server-open - distro non-free
driver   : nvidia-driver-580 - distro non-free
driver   : nvidia-driver-535-open - distro non-free
driver   : xserver-xorg-video-nouveau - distro free builtin

3. 安装 NVIDIA 驱动

# 安装推荐的驱动、设置工具和依赖
$ sudo apt install nvidia-driver-580-open nvidia-settings nvidia-prime libnvidia-extra-580

$ sudo apt install mesa-utils

# 如果遇到 'aplay command not found' 警告,安装 alsa-utils
$ sudo apt install alsa-utils

4. 禁用开源驱动 nouveau

NVIDIA 官方驱动与 nouveau 驱动冲突,需要禁用 nouveau 驱动。

# 创建并编辑黑名单配置文件
$ sudo vim /etc/modprobe.d/blacklist-nouveau.conf
# 添加以下内容
blacklist nouveau
options nouveau modeset=0

# 更新 initramfs 以应用更改
$ sudo update-initramfs -u

5. 启用 DRM 内核模式设置 (可选但推荐)

# 编辑 GRUB 配置
$ sudo vim /etc/default/grub
# 修改 GRUB_CMDLINE_LINUX_DEFAULT 行:
$ GRUB_CMDLINE_LINUX_DEFAULT="quiet splash nvidia-drm.modeset=1"

# 更新 GRUB
$ sudo update-grub
$ sudo reboot

6. 验证驱动安装

image-20260412112555134

# 检查 NVIDIA 驱动和 GPU 状态,如果显示了 NVIDIA 显卡信息,说明驱动安装成功。
$ nvidia-smi

# 2. 检查 OpenGL 渲染器是否为 NVIDIA
$ glxinfo | grep "OpenGL renderer"
OpenGL renderer string: NVIDIA GeForce RTX 4060/PCIe/SSE2

# 3. 检查 Prime 选择 (适用于双显卡笔记本)
$ prime-select query
on-demand # 平时用核显(省电),需要性能时自动切 NVIDIA

7. 安装 CUDA Toolkit

# 安装仓库中的 CUDA 工具包
$ sudo apt install nvidia-cuda-toolkit

# 验证安装
$ nvcc --version
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2023 NVIDIA Corporation
Built on Fri_Jan__6_16:45:21_PST_2023
Cuda compilation tools, release 12.0, V12.0.140
Build cuda_12.0.r12.0/compiler.32267302_0

8. 安装 Ollama

$ sudo apt install -y curl
$ curl -fsSL https://ollama.com/install.sh | sh

# 保存后重启服务
$ sudo systemctl daemon-reload && sudo systemctl restart ollama

# Ollama 安装包离线安装
# $ zstd -d ollama-linux-amd64.tar.zst
# $ tar -xvf ollama-linux-amd64.tar
# $ cd bin
# $ OLLAMA_HOST=0.0.0.0 ./ollama serve

9. 运行 Google Gemma4:e2b 模型

Gemma4:e4b GeForce RTX 4060显卡跑不起来。

$ ./ollama run gemma4:e4b
Error: 500 Internal Server Error: model requires more system memory (6.7 GiB) than is available (5.8 GiB)

$ ./ollama run gemma4:e2b



ScreenShot_2026-04-12_095615_655

下面是豆包回复😂:



ScreenShot_2026-04-14_110753_324

10. Docker 安装 Open WebUI

$ sudo apt update && sudo apt install docker.io -y
$ sudo systemctl enable --now docker

$ docker run -d -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  ghcr.io/open-webui/open-webui:main
# 关键参数说明:
# -p 3000:8080: 将容器的 8080 端口映射到本地的 3000 端口。
# --add-host=host.docker.internal:host-gateway: 允许 Docker 容器访问宿主机上的 Ollama 服务。
# -v open-webui:/app/backend/data: 持久化存储你的聊天记录和设置。

11. 访问 Open WebUI

访问界面

打开浏览器,输入 http://localhost:3000;

选择模型

进入页面后,在顶部的模型下拉菜单中选择 gemma4:2b。如果列表为空,请检查 设置 -> 外部连接 确认是否配置正确(默认通常为 http://host.docker.internal:11434)。

ScreenShot_2026-04-12_094044_446

参考:《Ubuntu 系统 NVIDIA 显卡驱动及 CUDA 安装》

×