Files
microdao-daarion/QWEN3-VISION-MODEL-SETUP.md
Apple 5290287058 feat: implement TTS, Document processing, and Memory Service /facts API
- TTS: xtts-v2 integration with voice cloning support
- Document: docling integration for PDF/DOCX/PPTX processing
- Memory Service: added /facts/upsert, /facts/{key}, /facts endpoints
- Added required dependencies (TTS, docling)
2026-01-17 08:16:37 -08:00

2.5 KiB
Raw Permalink Blame History

🖼️ Налаштування Vision моделі Qwen3 8B на НОДА1

Дата: 2026-01-12


📋 Завдання

Завантажити vision модель qwen3 8B на НОДА1 та налаштувати її в Swapper сервісі.


Виконані кроки

1. Перевірка поточного стану

  • Ollama працює на НОДА1
  • Модель qwen3:8b вже завантажена
  • Swapper сервіс працює

2. Завантаження Vision моделі

Модель: qwen2.5-vl:8b (vision-language модель)

ollama pull qwen2.5-vl:8b

3. Оновлення конфігурації Swapper

Файл: services/swapper-service/config/swapper_config_node1.yaml

Зміни:

  • Оновлено назву моделі з qwen3-vl-8b на qwen2.5-vl-8b
  • Оновлено шлях з ollama:qwen3-vl:8b на ollama:qwen2.5-vl:8b

4. Перезапуск Swapper

docker compose -f docker-compose.node1.yml restart swapper-service

📊 Конфігурація моделі в Swapper

# Vision Model - Qwen2.5-VL 8B (High Priority) - For image processing
qwen2.5-vl-8b:
  path: ollama:qwen2.5-vl:8b
  type: vision
  size_gb: 5.72
  priority: high
  description: "Vision model for image understanding and processing"

🔍 Перевірка статусу

Перевірка моделі в Ollama:

curl http://localhost:11434/api/tags | python3 -m json.tool | grep -i "qwen.*vl"

Перевірка Swapper:

curl http://localhost:8890/health | python3 -m json.tool

Перевірка логів:

docker logs swapper-service-node1 --tail 50

📝 Примітки

  1. Назва моделі: Використовується qwen2.5-vl:8b замість qwen3-vl:8b, оскільки це актуальна vision модель в Ollama.

  2. Розмір моделі: ~5.72 GB

  3. Тип: vision - для обробки зображень та мультимодальних запитів

  4. Пріоритет: high - модель має високий пріоритет для завантаження


🎯 Використання

Vision модель буде автоматично завантажуватися Swapper сервісом при запитах на обробку зображень через Helion або інших агентів.


Оновлено: 2026-01-12