5290287058
- TTS: xtts-v2 integration with voice cloning support
- Document: docling integration for PDF/DOCX/PPTX processing
- Memory Service: added /facts/upsert, /facts/{key}, /facts endpoints
- Added required dependencies (TTS, docling)
106 lines
3.2 KiB
Markdown
106 lines
3.2 KiB
Markdown
# ✅ Datalab Chandra - Встановлення завершено
|
||
|
||
**Дата:** 2026-01-12
|
||
|
||
---
|
||
|
||
## ✅ Виконано
|
||
|
||
### 1. Створено та завантажено:
|
||
- ✅ `chandra-inference` — inference сервіс з HuggingFace моделлю
|
||
- ✅ `chandra-service` — API wrapper сервіс
|
||
- ✅ Docker образи зібрані
|
||
- ✅ Контейнери запущені
|
||
|
||
### 2. Налаштовано:
|
||
- ✅ Docker Compose конфігурація
|
||
- ✅ CPU режим (GPU можна увімкнути пізніше)
|
||
- ✅ Health checks
|
||
- ✅ Router інтеграція (`OCR_URL`, `CHANDRA_URL`)
|
||
|
||
### 3. Виправлено:
|
||
- ✅ Проблема з GPU драйвером — тимчасово використовується CPU режим
|
||
- ✅ Конфігурація оновлена для роботи без nvidia-container-toolkit
|
||
|
||
---
|
||
|
||
## 📊 Поточний статус
|
||
|
||
### Контейнери:
|
||
- ✅ `dagi-chandra-inference-node1` — запущений
|
||
- ✅ `dagi-chandra-service-node1` — запущений
|
||
|
||
### Порти:
|
||
- ✅ `8000` — chandra-inference
|
||
- ✅ `8002` — chandra-service
|
||
|
||
---
|
||
|
||
## 🔧 Налаштування GPU (опціонально)
|
||
|
||
Для використання GPU потрібно:
|
||
|
||
1. **Встановити nvidia-container-toolkit:**
|
||
```bash
|
||
# На НОДА1
|
||
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
|
||
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
|
||
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
|
||
apt-get update && apt-get install -y nvidia-container-toolkit
|
||
systemctl restart docker
|
||
```
|
||
|
||
2. **Увімкнути GPU в docker-compose.node1.yml:**
|
||
- Розкоментувати секцію `deploy.resources.reservations.devices`
|
||
- Змінити `DEVICE=cpu` на `DEVICE=cuda`
|
||
|
||
3. **Перезапустити:**
|
||
```bash
|
||
docker compose -f docker-compose.node1.yml restart chandra-inference
|
||
```
|
||
|
||
---
|
||
|
||
## 🎯 Використання
|
||
|
||
### Health check:
|
||
```bash
|
||
curl http://localhost:8002/health
|
||
```
|
||
|
||
### Обробка документа:
|
||
```bash
|
||
curl -X POST http://localhost:8002/process \
|
||
-F "file=@document.pdf" \
|
||
-F "output_format=markdown" \
|
||
-F "accurate_mode=false"
|
||
```
|
||
|
||
### Через Router:
|
||
Router автоматично використовує `CHANDRA_URL` для обробки документів.
|
||
|
||
---
|
||
|
||
## ⚠️ Примітки
|
||
|
||
1. **CPU режим:** Зараз працює в CPU режимі, що повільніше, але працює
|
||
2. **Модель завантажується:** Перший запуск може зайняти 5-10 хвилин для завантаження моделі з HuggingFace
|
||
3. **VRAM:** Для GPU режиму потрібно ~8GB VRAM для chandra-small
|
||
|
||
---
|
||
|
||
## 📝 Наступні кроки
|
||
|
||
1. Перевірити health endpoints
|
||
2. Протестувати обробку тестового документа
|
||
3. Налаштувати GPU (якщо потрібно)
|
||
4. Інтегрувати в `doc_service.py` (опціонально)
|
||
|
||
---
|
||
|
||
**Встановлення завершено!**
|
||
|
||
---
|
||
|
||
**Оновлено:** 2026-01-12
|