microdao-daarion/NODE1-GPU-ENABLE-QUICKSTART.md

⚡ Швидкий старт: Увімкнення GPU для Ollama на НОДА1

Дата: 2025-01-27
GPU: ✅ NVIDIA RTX 4000 SFF Ada (20GB VRAM) - ДОСТУПНИЙ!
Проблема: Ollama використовує CPU (1583% CPU) замість GPU
Рішення: Увімкнути GPU acceleration

---

✅ Перевірка

GPU статус:

nvidia-smi
# ✅ NVIDIA RTX 4000 SFF Ada Generation
# ✅ 20GB VRAM
# ✅ CUDA 12.2
# ✅ Driver 535.274.02

Docker GPU підтримка:

nvidia-container-cli --version
# ✅ 1.18.0

docker --version
# ✅ 29.0.1 (підтримує --gpus)

Поточне використання GPU:

• Python процес: 2240 MiB VRAM (11%)
• GPU utilization: 0%
• Ollama НЕ використовує GPU!

---

🚀 Швидке рішення

✅ Варіант 1: Ollama як systemd service (ПОТОЧНА КОНФІГУРАЦІЯ)

Знайдено: Ollama працює як systemd service (/etc/systemd/system/ollama.service)

Швидке рішення (автоматичний скрипт):

# На НОДА1
cd /opt/microdao-daarion
# Запустити скрипт
bash NODE1-OLLAMA-GPU-ENABLE.sh

Або вручну:

# 1. Створити override.conf
sudo mkdir -p /etc/systemd/system/ollama.service.d
sudo tee /etc/systemd/system/ollama.service.d/override.conf > /dev/null << 'EOF'
[Service]
Environment="OLLAMA_NUM_GPU=1"
Environment="OLLAMA_GPU_LAYERS=35"
Environment="CUDA_VISIBLE_DEVICES=0"
Environment="OLLAMA_KEEP_ALIVE=24h"
EOF

# 2. Перезавантажити systemd
sudo systemctl daemon-reload

# 3. Перезапустити Ollama
sudo systemctl restart ollama

# 4. Перевірити
nvidia-smi
curl http://localhost:11434/api/ps

Варіант 2: Ollama як Docker контейнер

Якщо Ollama працює в Docker (але контейнер не знайдено, можливо в іншому compose файлі):

# Знайти Ollama
docker ps -a | grep ollama
docker compose -f /opt/microdao-daarion/docker-compose.yml ps | grep ollama

# Оновити docker-compose.yml
cd /opt/microdao-daarion
nano docker-compose.yml

# Додати GPU конфігурацію для ollama service:
services:
  ollama:
    image: ollama/ollama:latest
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]
    environment:
      - NVIDIA_VISIBLE_DEVICES=all
      - CUDA_VISIBLE_DEVICES=0
      - OLLAMA_NUM_GPU=1
      - OLLAMA_GPU_LAYERS=35

# Перезапустити
docker compose up -d ollama

Варіант 3: Ollama працює на хості (не в Docker)

Якщо Ollama встановлено на хості:

# Перевірити Ollama
ollama --version
which ollama

# Ollama автоматично використовує GPU якщо доступний CUDA
# Перевірити:
ollama ps
nvidia-smi

# Якщо не використовує GPU, перевірити CUDA:
nvcc --version

---

📊 Перевірка результатів

# 1. GPU utilization (має збільшитися)
nvidia-smi

# 2. CPU навантаження Ollama (має знизитися)
top -bn1 | grep ollama

# 3. Ollama через API
curl http://localhost:11434/api/ps

# 4. Тест швидкості
time curl -X POST http://localhost:11434/api/generate -d '{
  "model": "qwen3:8b",
  "prompt": "Привіт, тест GPU",
  "stream": false
}'

Очікувані результати:

• ✅ GPU utilization: 0% → 30-50%
• ✅ CPU Ollama: 1583% → 50-100%
• ✅ Загальне CPU: 85.3% → 40-50%
• ✅ Швидкість: +200-300%

---

🔍 Діагностика

Якщо GPU не працює:

# 1. Перевірити CUDA в Ollama
docker exec ollama nvidia-smi  # або на хості
ollama ps  # покаже чи використовує GPU

# 2. Перевірити логи
docker logs ollama | grep -i gpu
journalctl -u ollama | grep -i gpu

# 3. Перевірити CUDA доступність
docker run --rm --gpus all nvidia/cuda:12.2.0-base-ubuntu22.04 nvidia-smi

---

Last Updated: 2025-01-27
Status: ✅ GPU доступний, потрібно налаштувати Ollama