feat: Add presence heartbeat for Matrix online status
- matrix-gateway: POST /internal/matrix/presence/online endpoint - usePresenceHeartbeat hook with activity tracking - Auto away after 5 min inactivity - Offline on page close/visibility change - Integrated in MatrixChatRoom component
This commit is contained in:
112
NODE1-GPU-OPTIMIZATION-SUMMARY.md
Normal file
112
NODE1-GPU-OPTIMIZATION-SUMMARY.md
Normal file
@@ -0,0 +1,112 @@
|
||||
# ✅ Підсумок: Оптимізація CPU через GPU на НОДА1
|
||||
|
||||
**Дата:** 2025-01-27
|
||||
**Статус:** ✅ **GPU доступний!** Потрібно налаштувати Ollama
|
||||
|
||||
---
|
||||
|
||||
## 🎯 ВИСНОВОК
|
||||
|
||||
**✅ Так, можливо перенести CPU навантаження на GPU!**
|
||||
|
||||
### Поточна ситуація:
|
||||
- ✅ **GPU доступний:** NVIDIA RTX 4000 SFF Ada Generation (20GB VRAM)
|
||||
- ✅ **CUDA:** 12.2
|
||||
- ✅ **nvidia-container-toolkit:** Встановлено (1.18.0)
|
||||
- ✅ **Docker GPU підтримка:** Працює
|
||||
- ❌ **Ollama використовує CPU:** 1583% CPU (multi-core)
|
||||
- ⚠️ **GPU utilization:** 0% (не використовується Ollama!)
|
||||
|
||||
### Рішення:
|
||||
**Увімкнути GPU acceleration для Ollama**
|
||||
|
||||
**Ollama працює як systemd service:**
|
||||
- Service: `/etc/systemd/system/ollama.service`
|
||||
- Executable: `/usr/local/bin/ollama serve`
|
||||
- User: `ollama`
|
||||
- Порт: `11434`
|
||||
|
||||
---
|
||||
|
||||
## 🚀 Швидке рішення
|
||||
|
||||
### Автоматичний скрипт:
|
||||
```bash
|
||||
# На НОДА1
|
||||
cd /opt/microdao-daarion
|
||||
bash NODE1-OLLAMA-GPU-ENABLE.sh
|
||||
```
|
||||
|
||||
### Або вручну:
|
||||
```bash
|
||||
# 1. Створити override.conf для GPU
|
||||
sudo mkdir -p /etc/systemd/system/ollama.service.d
|
||||
sudo tee /etc/systemd/system/ollama.service.d/override.conf > /dev/null << 'EOF'
|
||||
[Service]
|
||||
Environment="OLLAMA_NUM_GPU=1"
|
||||
Environment="OLLAMA_GPU_LAYERS=35"
|
||||
Environment="CUDA_VISIBLE_DEVICES=0"
|
||||
Environment="OLLAMA_KEEP_ALIVE=24h"
|
||||
EOF
|
||||
|
||||
# 2. Перезавантажити systemd
|
||||
sudo systemctl daemon-reload
|
||||
|
||||
# 3. Перезапустити Ollama
|
||||
sudo systemctl restart ollama
|
||||
|
||||
# 4. Перевірити
|
||||
nvidia-smi
|
||||
curl http://localhost:11434/api/ps
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 📊 Очікувані результати
|
||||
|
||||
### До оптимізації:
|
||||
- **CPU:** 85.3% (Ollama: 1583% multi-core)
|
||||
- **GPU utilization:** 0%
|
||||
- **Швидкість інференсу:** Повільно (CPU)
|
||||
|
||||
### Після оптимізації:
|
||||
- **CPU:** **40-50%** (-35-45%) ✅
|
||||
- **GPU utilization:** **30-50%** ✅
|
||||
- **Ollama CPU:** **50-100%** (на GPU) ✅
|
||||
- **Швидкість інференсу:** **+200-300%** (GPU) ✅
|
||||
|
||||
---
|
||||
|
||||
## 📝 Детальна документація
|
||||
|
||||
1. **`NODE1-GPU-OPTIMIZATION.md`** - Повний план оптимізації
|
||||
2. **`NODE1-GPU-ENABLE-INSTRUCTIONS.md`** - Детальні інструкції
|
||||
3. **`NODE1-GPU-ENABLE-QUICKSTART.md`** - Швидкий старт
|
||||
4. **`NODE1-OLLAMA-GPU-ENABLE.sh`** - Автоматичний скрипт
|
||||
|
||||
---
|
||||
|
||||
## ✅ Перевірка після оптимізації
|
||||
|
||||
```bash
|
||||
# 1. GPU utilization (має збільшитися)
|
||||
nvidia-smi
|
||||
|
||||
# 2. CPU навантаження (має знизитися)
|
||||
top -bn1 | grep "Cpu(s)"
|
||||
|
||||
# 3. Ollama процеси
|
||||
ollama ps
|
||||
|
||||
# 4. Тест швидкості
|
||||
time ollama run qwen3:8b "Привіт, тест GPU"
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
**Last Updated:** 2025-01-27
|
||||
**Status:** ✅ Готово до виконання
|
||||
|
||||
|
||||
|
||||
|
||||
Reference in New Issue
Block a user