Files

Apple fca48b3eb0 feat(node2): Complete NODE2 setup - guardian, agents, swapper models

- Node-guardian running on MacBook and updating metrics
- NODE2 agents (Atlas, Greeter, Oracle, Builder Bot) assigned to node-2-macbook-m4max
- Swapper models displaying correctly (8 models)
- DAGI Router agents showing with correct status (3 active, 1 stale)
- Router health check using node_cache for remote nodes

2025-12-02 07:07:58 -08:00

3.0 KiB

Raw Blame History

✅ Підсумок: Оптимізація CPU через GPU на НОДА1

Дата: 2025-01-27
Статус: ✅ GPU доступний! Потрібно налаштувати Ollama

🎯 ВИСНОВОК

✅ Так, можливо перенести CPU навантаження на GPU!

Поточна ситуація:

✅ GPU доступний: NVIDIA RTX 4000 SFF Ada Generation (20GB VRAM)
✅ CUDA: 12.2
✅ nvidia-container-toolkit: Встановлено (1.18.0)
✅ Docker GPU підтримка: Працює
❌ Ollama використовує CPU: 1583% CPU (multi-core)
⚠️ GPU utilization: 0% (не використовується Ollama!)

Рішення:

Увімкнути GPU acceleration для Ollama

Ollama працює як systemd service:

Service: /etc/systemd/system/ollama.service
Executable: /usr/local/bin/ollama serve
User: ollama
Порт: 11434

🚀 Швидке рішення

Автоматичний скрипт:

# На НОДА1
cd /opt/microdao-daarion
bash NODE1-OLLAMA-GPU-ENABLE.sh

Або вручну:

# 1. Створити override.conf для GPU
sudo mkdir -p /etc/systemd/system/ollama.service.d
sudo tee /etc/systemd/system/ollama.service.d/override.conf > /dev/null << 'EOF'
[Service]
Environment="OLLAMA_NUM_GPU=1"
Environment="OLLAMA_GPU_LAYERS=35"
Environment="CUDA_VISIBLE_DEVICES=0"
Environment="OLLAMA_KEEP_ALIVE=24h"
EOF

# 2. Перезавантажити systemd
sudo systemctl daemon-reload

# 3. Перезапустити Ollama
sudo systemctl restart ollama

# 4. Перевірити
nvidia-smi
curl http://localhost:11434/api/ps

📊 Очікувані результати

До оптимізації:

CPU: 85.3% (Ollama: 1583% multi-core)
GPU utilization: 0%
Швидкість інференсу: Повільно (CPU)

Після оптимізації:

CPU: 40-50% (-35-45%) ✅
GPU utilization: 30-50% ✅
Ollama CPU: 50-100% (на GPU) ✅
Швидкість інференсу: +200-300% (GPU) ✅

📝 Детальна документація

NODE1-GPU-OPTIMIZATION.md - Повний план оптимізації
NODE1-GPU-ENABLE-INSTRUCTIONS.md - Детальні інструкції
NODE1-GPU-ENABLE-QUICKSTART.md - Швидкий старт
NODE1-OLLAMA-GPU-ENABLE.sh - Автоматичний скрипт

✅ Перевірка після оптимізації

# 1. GPU utilization (має збільшитися)
nvidia-smi

# 2. CPU навантаження (має знизитися)
top -bn1 | grep "Cpu(s)"

# 3. Ollama процеси
ollama ps

# 4. Тест швидкості
time ollama run qwen3:8b "Привіт, тест GPU"

Last Updated: 2025-01-27
Status: ✅ Готово до виконання

3.0 KiB Raw Blame History Unescape Escape