fca48b3eb0
- Node-guardian running on MacBook and updating metrics - NODE2 agents (Atlas, Greeter, Oracle, Builder Bot) assigned to node-2-macbook-m4max - Swapper models displaying correctly (8 models) - DAGI Router agents showing with correct status (3 active, 1 stale) - Router health check using node_cache for remote nodes
78 lines
2.8 KiB
Bash
Executable File
78 lines
2.8 KiB
Bash
Executable File
#!/bin/bash
|
||
# Скрипт для увімкнення GPU acceleration для Ollama на НОДА1
|
||
# GPU: NVIDIA RTX 4000 SFF Ada Generation (20GB VRAM)
|
||
|
||
set -e
|
||
|
||
echo "🚀 Увімкнення GPU acceleration для Ollama на НОДА1"
|
||
echo "GPU: NVIDIA RTX 4000 SFF Ada Generation (20GB VRAM)"
|
||
echo ""
|
||
|
||
# Перевірка GPU
|
||
echo "📊 Перевірка GPU..."
|
||
nvidia-smi --query-gpu=name,memory.total --format=csv,noheader
|
||
|
||
# Перевірка Ollama контейнера
|
||
echo ""
|
||
echo "🔍 Перевірка Ollama контейнера..."
|
||
OLLAMA_CONTAINER=$(docker ps --format '{{.Names}}' | grep -i ollama | head -1)
|
||
|
||
if [ -z "$OLLAMA_CONTAINER" ]; then
|
||
echo "❌ Ollama контейнер не знайдено!"
|
||
echo " Перевірте чи запущений Ollama: docker ps | grep ollama"
|
||
exit 1
|
||
fi
|
||
|
||
echo "✅ Знайдено Ollama контейнер: $OLLAMA_CONTAINER"
|
||
|
||
# Перевірка чи вже налаштовано GPU
|
||
echo ""
|
||
echo "🔍 Перевірка поточної конфігурації GPU..."
|
||
GPU_CONFIG=$(docker inspect "$OLLAMA_CONTAINER" --format '{{.HostConfig.DeviceRequests}}' 2>&1)
|
||
|
||
if echo "$GPU_CONFIG" | grep -q "nvidia"; then
|
||
echo "⚠️ GPU вже налаштовано, але перевіряємо використання..."
|
||
else
|
||
echo "❌ GPU не налаштовано для Ollama!"
|
||
echo ""
|
||
echo "📝 Для увімкнення GPU потрібно:"
|
||
echo " 1. Зупинити Ollama: docker stop $OLLAMA_CONTAINER"
|
||
echo " 2. Оновити docker-compose.yml з GPU конфігурацією"
|
||
echo " 3. Перезапустити: docker compose up -d ollama"
|
||
echo ""
|
||
echo "💡 Альтернатива: використати docker run з --gpus all"
|
||
fi
|
||
|
||
# Перевірка використання GPU Ollama
|
||
echo ""
|
||
echo "📊 Перевірка використання GPU Ollama..."
|
||
nvidia-smi --query-compute-apps=pid,process_name,used_memory --format=csv
|
||
|
||
# Перевірка Ollama через API
|
||
echo ""
|
||
echo "🔍 Перевірка Ollama через API..."
|
||
OLLAMA_PS=$(curl -s http://localhost:11434/api/ps 2>&1 || echo "[]")
|
||
|
||
if echo "$OLLAMA_PS" | grep -q "qwen"; then
|
||
echo "✅ Ollama має завантажені моделі"
|
||
echo "$OLLAMA_PS" | python3 -m json.tool 2>/dev/null || echo "$OLLAMA_PS"
|
||
else
|
||
echo "⚠️ Ollama не має завантажених моделей"
|
||
fi
|
||
|
||
echo ""
|
||
echo "✅ Перевірка завершена!"
|
||
echo ""
|
||
echo "📋 Наступні кроки:"
|
||
echo " 1. Оновити docker-compose.yml для Ollama з GPU"
|
||
echo " 2. Перезапустити Ollama контейнер"
|
||
echo " 3. Перевірити використання GPU: nvidia-smi"
|
||
echo " 4. Протестувати Ollama з GPU: ollama run qwen3:8b 'test'"
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|