5290287058
- TTS: xtts-v2 integration with voice cloning support
- Document: docling integration for PDF/DOCX/PPTX processing
- Memory Service: added /facts/upsert, /facts/{key}, /facts endpoints
- Added required dependencies (TTS, docling)
97 lines
2.5 KiB
Markdown
97 lines
2.5 KiB
Markdown
# 🖼️ Налаштування Vision моделі Qwen3 8B на НОДА1
|
||
|
||
**Дата:** 2026-01-12
|
||
|
||
---
|
||
|
||
## 📋 Завдання
|
||
|
||
Завантажити vision модель qwen3 8B на НОДА1 та налаштувати її в Swapper сервісі.
|
||
|
||
---
|
||
|
||
## ✅ Виконані кроки
|
||
|
||
### 1. Перевірка поточного стану
|
||
|
||
- ✅ Ollama працює на НОДА1
|
||
- ✅ Модель `qwen3:8b` вже завантажена
|
||
- ✅ Swapper сервіс працює
|
||
|
||
### 2. Завантаження Vision моделі
|
||
|
||
**Модель:** `qwen2.5-vl:8b` (vision-language модель)
|
||
|
||
```bash
|
||
ollama pull qwen2.5-vl:8b
|
||
```
|
||
|
||
### 3. Оновлення конфігурації Swapper
|
||
|
||
**Файл:** `services/swapper-service/config/swapper_config_node1.yaml`
|
||
|
||
**Зміни:**
|
||
- Оновлено назву моделі з `qwen3-vl-8b` на `qwen2.5-vl-8b`
|
||
- Оновлено шлях з `ollama:qwen3-vl:8b` на `ollama:qwen2.5-vl:8b`
|
||
|
||
### 4. Перезапуск Swapper
|
||
|
||
```bash
|
||
docker compose -f docker-compose.node1.yml restart swapper-service
|
||
```
|
||
|
||
---
|
||
|
||
## 📊 Конфігурація моделі в Swapper
|
||
|
||
```yaml
|
||
# Vision Model - Qwen2.5-VL 8B (High Priority) - For image processing
|
||
qwen2.5-vl-8b:
|
||
path: ollama:qwen2.5-vl:8b
|
||
type: vision
|
||
size_gb: 5.72
|
||
priority: high
|
||
description: "Vision model for image understanding and processing"
|
||
```
|
||
|
||
---
|
||
|
||
## 🔍 Перевірка статусу
|
||
|
||
### Перевірка моделі в Ollama:
|
||
```bash
|
||
curl http://localhost:11434/api/tags | python3 -m json.tool | grep -i "qwen.*vl"
|
||
```
|
||
|
||
### Перевірка Swapper:
|
||
```bash
|
||
curl http://localhost:8890/health | python3 -m json.tool
|
||
```
|
||
|
||
### Перевірка логів:
|
||
```bash
|
||
docker logs swapper-service-node1 --tail 50
|
||
```
|
||
|
||
---
|
||
|
||
## 📝 Примітки
|
||
|
||
1. **Назва моделі:** Використовується `qwen2.5-vl:8b` замість `qwen3-vl:8b`, оскільки це актуальна vision модель в Ollama.
|
||
|
||
2. **Розмір моделі:** ~5.72 GB
|
||
|
||
3. **Тип:** `vision` - для обробки зображень та мультимодальних запитів
|
||
|
||
4. **Пріоритет:** `high` - модель має високий пріоритет для завантаження
|
||
|
||
---
|
||
|
||
## 🎯 Використання
|
||
|
||
Vision модель буде автоматично завантажуватися Swapper сервісом при запитах на обробку зображень через Helion або інших агентів.
|
||
|
||
---
|
||
|
||
**Оновлено:** 2026-01-12
|