# ✅ Підсумок: Оптимізація CPU через GPU на НОДА1 **Дата:** 2025-01-27 **Статус:** ✅ **GPU доступний!** Потрібно налаштувати Ollama --- ## 🎯 ВИСНОВОК **✅ Так, можливо перенести CPU навантаження на GPU!** ### Поточна ситуація: - ✅ **GPU доступний:** NVIDIA RTX 4000 SFF Ada Generation (20GB VRAM) - ✅ **CUDA:** 12.2 - ✅ **nvidia-container-toolkit:** Встановлено (1.18.0) - ✅ **Docker GPU підтримка:** Працює - ❌ **Ollama використовує CPU:** 1583% CPU (multi-core) - ⚠️ **GPU utilization:** 0% (не використовується Ollama!) ### Рішення: **Увімкнути GPU acceleration для Ollama** **Ollama працює як systemd service:** - Service: `/etc/systemd/system/ollama.service` - Executable: `/usr/local/bin/ollama serve` - User: `ollama` - Порт: `11434` --- ## 🚀 Швидке рішення ### Автоматичний скрипт: ```bash # На НОДА1 cd /opt/microdao-daarion bash NODE1-OLLAMA-GPU-ENABLE.sh ``` ### Або вручну: ```bash # 1. Створити override.conf для GPU sudo mkdir -p /etc/systemd/system/ollama.service.d sudo tee /etc/systemd/system/ollama.service.d/override.conf > /dev/null << 'EOF' [Service] Environment="OLLAMA_NUM_GPU=1" Environment="OLLAMA_GPU_LAYERS=35" Environment="CUDA_VISIBLE_DEVICES=0" Environment="OLLAMA_KEEP_ALIVE=24h" EOF # 2. Перезавантажити systemd sudo systemctl daemon-reload # 3. Перезапустити Ollama sudo systemctl restart ollama # 4. Перевірити nvidia-smi curl http://localhost:11434/api/ps ``` --- ## 📊 Очікувані результати ### До оптимізації: - **CPU:** 85.3% (Ollama: 1583% multi-core) - **GPU utilization:** 0% - **Швидкість інференсу:** Повільно (CPU) ### Після оптимізації: - **CPU:** **40-50%** (-35-45%) ✅ - **GPU utilization:** **30-50%** ✅ - **Ollama CPU:** **50-100%** (на GPU) ✅ - **Швидкість інференсу:** **+200-300%** (GPU) ✅ --- ## 📝 Детальна документація 1. **`NODE1-GPU-OPTIMIZATION.md`** - Повний план оптимізації 2. **`NODE1-GPU-ENABLE-INSTRUCTIONS.md`** - Детальні інструкції 3. **`NODE1-GPU-ENABLE-QUICKSTART.md`** - Швидкий старт 4. **`NODE1-OLLAMA-GPU-ENABLE.sh`** - Автоматичний скрипт --- ## ✅ Перевірка після оптимізації ```bash # 1. GPU utilization (має збільшитися) nvidia-smi # 2. CPU навантаження (має знизитися) top -bn1 | grep "Cpu(s)" # 3. Ollama процеси ollama ps # 4. Тест швидкості time ollama run qwen3:8b "Привіт, тест GPU" ``` --- **Last Updated:** 2025-01-27 **Status:** ✅ Готово до виконання