Ubuntu搭建本地大数据模型
1. 系统准备与信息确认
# 确认显卡硬件信息及当前使用的驱动
$ lspci -nnk | grep -i vga -A3
01:00.0 VGA compatible controller [0300]: NVIDIA Corporation AD107 [GeForce RTX 4060] [10de:2882] (rev a1)
Subsystem: ASUSTeK Computer Inc. AD107 [GeForce RTX 4060] [1043:8916]
Kernel driver in use: nouveau
Kernel modules: nvidiafb, nouveau
# 确认 Ubuntu 版本
$ lsb_release -a
No LSB modules are available.
Distributor ID: Ubuntu
Description: Ubuntu 24.04.4 LTS
Release: 24.04
Codename: noble
# 更新系统包列表
$ sudo apt update
$ sudo apt upgrade -y
2. 识别并选择推荐驱动版本
# 查看可用的 NVIDIA 驱动版本
$ ubuntu-drivers devices
== /sys/devices/pci0000:00/0000:00:01.0/0000:01:00.0 ==
modalias : pci:v000010DEd00002882sv00001043sd00008916bc03sc00i00
vendor : NVIDIA Corporation
model : AD107 [GeForce RTX 4060]
driver : nvidia-driver-590 - distro non-free
driver : nvidia-driver-570-server-open - distro non-free
driver : nvidia-driver-590-open - distro non-free
driver : nvidia-driver-535-server - distro non-free
driver : nvidia-driver-535-server-open - distro non-free
driver : nvidia-driver-580-server-open - distro non-free
driver : nvidia-driver-570 - distro non-free
driver : nvidia-driver-535 - distro non-free
driver : nvidia-driver-580-open - distro non-free recommended # <-- 推荐安装
driver : nvidia-driver-590-server - distro non-free
driver : nvidia-driver-580-server - distro non-free
driver : nvidia-driver-570-open - distro non-free
driver : nvidia-driver-570-server - distro non-free
driver : nvidia-driver-590-server-open - distro non-free
driver : nvidia-driver-580 - distro non-free
driver : nvidia-driver-535-open - distro non-free
driver : xserver-xorg-video-nouveau - distro free builtin
3. 安装 NVIDIA 驱动
# 安装推荐的驱动、设置工具和依赖
$ sudo apt install nvidia-driver-580-open nvidia-settings nvidia-prime libnvidia-extra-580
$ sudo apt install mesa-utils
# 如果遇到 'aplay command not found' 警告,安装 alsa-utils
$ sudo apt install alsa-utils
4. 禁用开源驱动 nouveau
NVIDIA 官方驱动与 nouveau 驱动冲突,需要禁用 nouveau 驱动。
# 创建并编辑黑名单配置文件
$ sudo vim /etc/modprobe.d/blacklist-nouveau.conf
# 添加以下内容
blacklist nouveau
options nouveau modeset=0
# 更新 initramfs 以应用更改
$ sudo update-initramfs -u
5. 启用 DRM 内核模式设置 (可选但推荐)
# 编辑 GRUB 配置
$ sudo vim /etc/default/grub
# 修改 GRUB_CMDLINE_LINUX_DEFAULT 行:
$ GRUB_CMDLINE_LINUX_DEFAULT="quiet splash nvidia-drm.modeset=1"
# 更新 GRUB
$ sudo update-grub
$ sudo reboot
6. 验证驱动安装

# 检查 NVIDIA 驱动和 GPU 状态,如果显示了 NVIDIA 显卡信息,说明驱动安装成功。
$ nvidia-smi
# 2. 检查 OpenGL 渲染器是否为 NVIDIA
$ glxinfo | grep "OpenGL renderer"
OpenGL renderer string: NVIDIA GeForce RTX 4060/PCIe/SSE2
# 3. 检查 Prime 选择 (适用于双显卡笔记本)
$ prime-select query
on-demand # 平时用核显(省电),需要性能时自动切 NVIDIA
7. 安装 CUDA Toolkit
# 安装仓库中的 CUDA 工具包
$ sudo apt install nvidia-cuda-toolkit
# 验证安装
$ nvcc --version
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2023 NVIDIA Corporation
Built on Fri_Jan__6_16:45:21_PST_2023
Cuda compilation tools, release 12.0, V12.0.140
Build cuda_12.0.r12.0/compiler.32267302_0
8. 安装 Ollama
$ sudo apt install -y curl
$ curl -fsSL https://ollama.com/install.sh | sh
# 保存后重启服务
$ sudo systemctl daemon-reload && sudo systemctl restart ollama
# Ollama 安装包离线安装
# $ zstd -d ollama-linux-amd64.tar.zst
# $ tar -xvf ollama-linux-amd64.tar
# $ cd bin
# $ OLLAMA_HOST=0.0.0.0 ./ollama serve
9. 运行 Google Gemma4:e2b 模型
Gemma4:e4b GeForce RTX 4060显卡跑不起来。
$ ./ollama run gemma4:e4b
Error: 500 Internal Server Error: model requires more system memory (6.7 GiB) than is available (5.8 GiB)
$ ./ollama run gemma4:e2b
下面是豆包回复😂:

10. Docker 安装 Open WebUI
$ sudo apt update && sudo apt install docker.io -y
$ sudo systemctl enable --now docker
$ docker run -d -p 3000:8080 \
--add-host=host.docker.internal:host-gateway \
-v open-webui:/app/backend/data \
--name open-webui \
ghcr.io/open-webui/open-webui:main
# 关键参数说明:
# -p 3000:8080: 将容器的 8080 端口映射到本地的 3000 端口。
# --add-host=host.docker.internal:host-gateway: 允许 Docker 容器访问宿主机上的 Ollama 服务。
# -v open-webui:/app/backend/data: 持久化存储你的聊天记录和设置。
11. 访问 Open WebUI
访问界面
打开浏览器,输入 http://localhost:3000;
选择模型
进入页面后,在顶部的模型下拉菜单中选择 gemma4:2b。如果列表为空,请检查 设置 -> 外部连接 确认是否配置正确(默认通常为 http://host.docker.internal:11434)。