fca48b3eb0
- Node-guardian running on MacBook and updating metrics - NODE2 agents (Atlas, Greeter, Oracle, Builder Bot) assigned to node-2-macbook-m4max - Swapper models displaying correctly (8 models) - DAGI Router agents showing with correct status (3 active, 1 stale) - Router health check using node_cache for remote nodes
116 lines
3.0 KiB
Markdown
116 lines
3.0 KiB
Markdown
# ✅ Підсумок: Оптимізація CPU через GPU на НОДА1
|
||
|
||
**Дата:** 2025-01-27
|
||
**Статус:** ✅ **GPU доступний!** Потрібно налаштувати Ollama
|
||
|
||
---
|
||
|
||
## 🎯 ВИСНОВОК
|
||
|
||
**✅ Так, можливо перенести CPU навантаження на GPU!**
|
||
|
||
### Поточна ситуація:
|
||
- ✅ **GPU доступний:** NVIDIA RTX 4000 SFF Ada Generation (20GB VRAM)
|
||
- ✅ **CUDA:** 12.2
|
||
- ✅ **nvidia-container-toolkit:** Встановлено (1.18.0)
|
||
- ✅ **Docker GPU підтримка:** Працює
|
||
- ❌ **Ollama використовує CPU:** 1583% CPU (multi-core)
|
||
- ⚠️ **GPU utilization:** 0% (не використовується Ollama!)
|
||
|
||
### Рішення:
|
||
**Увімкнути GPU acceleration для Ollama**
|
||
|
||
**Ollama працює як systemd service:**
|
||
- Service: `/etc/systemd/system/ollama.service`
|
||
- Executable: `/usr/local/bin/ollama serve`
|
||
- User: `ollama`
|
||
- Порт: `11434`
|
||
|
||
---
|
||
|
||
## 🚀 Швидке рішення
|
||
|
||
### Автоматичний скрипт:
|
||
```bash
|
||
# На НОДА1
|
||
cd /opt/microdao-daarion
|
||
bash NODE1-OLLAMA-GPU-ENABLE.sh
|
||
```
|
||
|
||
### Або вручну:
|
||
```bash
|
||
# 1. Створити override.conf для GPU
|
||
sudo mkdir -p /etc/systemd/system/ollama.service.d
|
||
sudo tee /etc/systemd/system/ollama.service.d/override.conf > /dev/null << 'EOF'
|
||
[Service]
|
||
Environment="OLLAMA_NUM_GPU=1"
|
||
Environment="OLLAMA_GPU_LAYERS=35"
|
||
Environment="CUDA_VISIBLE_DEVICES=0"
|
||
Environment="OLLAMA_KEEP_ALIVE=24h"
|
||
EOF
|
||
|
||
# 2. Перезавантажити systemd
|
||
sudo systemctl daemon-reload
|
||
|
||
# 3. Перезапустити Ollama
|
||
sudo systemctl restart ollama
|
||
|
||
# 4. Перевірити
|
||
nvidia-smi
|
||
curl http://localhost:11434/api/ps
|
||
```
|
||
|
||
---
|
||
|
||
## 📊 Очікувані результати
|
||
|
||
### До оптимізації:
|
||
- **CPU:** 85.3% (Ollama: 1583% multi-core)
|
||
- **GPU utilization:** 0%
|
||
- **Швидкість інференсу:** Повільно (CPU)
|
||
|
||
### Після оптимізації:
|
||
- **CPU:** **40-50%** (-35-45%) ✅
|
||
- **GPU utilization:** **30-50%** ✅
|
||
- **Ollama CPU:** **50-100%** (на GPU) ✅
|
||
- **Швидкість інференсу:** **+200-300%** (GPU) ✅
|
||
|
||
---
|
||
|
||
## 📝 Детальна документація
|
||
|
||
1. **`NODE1-GPU-OPTIMIZATION.md`** - Повний план оптимізації
|
||
2. **`NODE1-GPU-ENABLE-INSTRUCTIONS.md`** - Детальні інструкції
|
||
3. **`NODE1-GPU-ENABLE-QUICKSTART.md`** - Швидкий старт
|
||
4. **`NODE1-OLLAMA-GPU-ENABLE.sh`** - Автоматичний скрипт
|
||
|
||
---
|
||
|
||
## ✅ Перевірка після оптимізації
|
||
|
||
```bash
|
||
# 1. GPU utilization (має збільшитися)
|
||
nvidia-smi
|
||
|
||
# 2. CPU навантаження (має знизитися)
|
||
top -bn1 | grep "Cpu(s)"
|
||
|
||
# 3. Ollama процеси
|
||
ollama ps
|
||
|
||
# 4. Тест швидкості
|
||
time ollama run qwen3:8b "Привіт, тест GPU"
|
||
```
|
||
|
||
---
|
||
|
||
**Last Updated:** 2025-01-27
|
||
**Status:** ✅ Готово до виконання
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|