Files

Build and Deploy Docs / build-and-deploy (push) Has been cancelled

Details

- Created logs/ structure (sessions, operations, incidents)
- Added session-start/log/end scripts
- Installed Git hooks for auto-logging commits/pushes
- Added shell integration for zsh
- Created CHANGELOG.md
- Documented today's session (2026-01-10)

2026-01-10 04:53:17 -08:00

3.0 KiB

Raw Permalink Blame History

✅ Підсумок: Оптимізація CPU через GPU на НОДА1

Дата: 2025-01-27
Статус: ✅ GPU доступний! Потрібно налаштувати Ollama

🎯 ВИСНОВОК

✅ Так, можливо перенести CPU навантаження на GPU!

Поточна ситуація:

✅ GPU доступний: NVIDIA RTX 4000 SFF Ada Generation (20GB VRAM)
✅ CUDA: 12.2
✅ nvidia-container-toolkit: Встановлено (1.18.0)
✅ Docker GPU підтримка: Працює
❌ Ollama використовує CPU: 1583% CPU (multi-core)
⚠️ GPU utilization: 0% (не використовується Ollama!)

Рішення:

Увімкнути GPU acceleration для Ollama

Ollama працює як systemd service:

Service: /etc/systemd/system/ollama.service
Executable: /usr/local/bin/ollama serve
User: ollama
Порт: 11434

🚀 Швидке рішення

Автоматичний скрипт:

# На НОДА1
cd /opt/microdao-daarion
bash NODE1-OLLAMA-GPU-ENABLE.sh

Або вручну:

# 1. Створити override.conf для GPU
sudo mkdir -p /etc/systemd/system/ollama.service.d
sudo tee /etc/systemd/system/ollama.service.d/override.conf > /dev/null << 'EOF'
[Service]
Environment="OLLAMA_NUM_GPU=1"
Environment="OLLAMA_GPU_LAYERS=35"
Environment="CUDA_VISIBLE_DEVICES=0"
Environment="OLLAMA_KEEP_ALIVE=24h"
EOF

# 2. Перезавантажити systemd
sudo systemctl daemon-reload

# 3. Перезапустити Ollama
sudo systemctl restart ollama

# 4. Перевірити
nvidia-smi
curl http://localhost:11434/api/ps

📊 Очікувані результати

До оптимізації:

CPU: 85.3% (Ollama: 1583% multi-core)
GPU utilization: 0%
Швидкість інференсу: Повільно (CPU)

Після оптимізації:

CPU: 40-50% (-35-45%) ✅
GPU utilization: 30-50% ✅
Ollama CPU: 50-100% (на GPU) ✅
Швидкість інференсу: +200-300% (GPU) ✅

📝 Детальна документація

NODE1-GPU-OPTIMIZATION.md - Повний план оптимізації
NODE1-GPU-ENABLE-INSTRUCTIONS.md - Детальні інструкції
NODE1-GPU-ENABLE-QUICKSTART.md - Швидкий старт
NODE1-OLLAMA-GPU-ENABLE.sh - Автоматичний скрипт

✅ Перевірка після оптимізації

# 1. GPU utilization (має збільшитися)
nvidia-smi

# 2. CPU навантаження (має знизитися)
top -bn1 | grep "Cpu(s)"

# 3. Ollama процеси
ollama ps

# 4. Тест швидкості
time ollama run qwen3:8b "Привіт, тест GPU"

Last Updated: 2025-01-27
Status: ✅ Готово до виконання

3.0 KiB Raw Permalink Blame History Unescape Escape