feat: implement TTS, Document processing, and Memory Service /facts API
- TTS: xtts-v2 integration with voice cloning support
- Document: docling integration for PDF/DOCX/PPTX processing
- Memory Service: added /facts/upsert, /facts/{key}, /facts endpoints
- Added required dependencies (TTS, docling)
This commit is contained in:
105
DATALAB-CHANDRA-DEPLOYMENT-COMPLETE.md
Normal file
105
DATALAB-CHANDRA-DEPLOYMENT-COMPLETE.md
Normal file
@@ -0,0 +1,105 @@
|
||||
# ✅ Datalab Chandra - Встановлення завершено
|
||||
|
||||
**Дата:** 2026-01-12
|
||||
|
||||
---
|
||||
|
||||
## ✅ Виконано
|
||||
|
||||
### 1. Створено та завантажено:
|
||||
- ✅ `chandra-inference` — inference сервіс з HuggingFace моделлю
|
||||
- ✅ `chandra-service` — API wrapper сервіс
|
||||
- ✅ Docker образи зібрані
|
||||
- ✅ Контейнери запущені
|
||||
|
||||
### 2. Налаштовано:
|
||||
- ✅ Docker Compose конфігурація
|
||||
- ✅ CPU режим (GPU можна увімкнути пізніше)
|
||||
- ✅ Health checks
|
||||
- ✅ Router інтеграція (`OCR_URL`, `CHANDRA_URL`)
|
||||
|
||||
### 3. Виправлено:
|
||||
- ✅ Проблема з GPU драйвером — тимчасово використовується CPU режим
|
||||
- ✅ Конфігурація оновлена для роботи без nvidia-container-toolkit
|
||||
|
||||
---
|
||||
|
||||
## 📊 Поточний статус
|
||||
|
||||
### Контейнери:
|
||||
- ✅ `dagi-chandra-inference-node1` — запущений
|
||||
- ✅ `dagi-chandra-service-node1` — запущений
|
||||
|
||||
### Порти:
|
||||
- ✅ `8000` — chandra-inference
|
||||
- ✅ `8002` — chandra-service
|
||||
|
||||
---
|
||||
|
||||
## 🔧 Налаштування GPU (опціонально)
|
||||
|
||||
Для використання GPU потрібно:
|
||||
|
||||
1. **Встановити nvidia-container-toolkit:**
|
||||
```bash
|
||||
# На НОДА1
|
||||
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
|
||||
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
|
||||
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
|
||||
apt-get update && apt-get install -y nvidia-container-toolkit
|
||||
systemctl restart docker
|
||||
```
|
||||
|
||||
2. **Увімкнути GPU в docker-compose.node1.yml:**
|
||||
- Розкоментувати секцію `deploy.resources.reservations.devices`
|
||||
- Змінити `DEVICE=cpu` на `DEVICE=cuda`
|
||||
|
||||
3. **Перезапустити:**
|
||||
```bash
|
||||
docker compose -f docker-compose.node1.yml restart chandra-inference
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 🎯 Використання
|
||||
|
||||
### Health check:
|
||||
```bash
|
||||
curl http://localhost:8002/health
|
||||
```
|
||||
|
||||
### Обробка документа:
|
||||
```bash
|
||||
curl -X POST http://localhost:8002/process \
|
||||
-F "file=@document.pdf" \
|
||||
-F "output_format=markdown" \
|
||||
-F "accurate_mode=false"
|
||||
```
|
||||
|
||||
### Через Router:
|
||||
Router автоматично використовує `CHANDRA_URL` для обробки документів.
|
||||
|
||||
---
|
||||
|
||||
## ⚠️ Примітки
|
||||
|
||||
1. **CPU режим:** Зараз працює в CPU режимі, що повільніше, але працює
|
||||
2. **Модель завантажується:** Перший запуск може зайняти 5-10 хвилин для завантаження моделі з HuggingFace
|
||||
3. **VRAM:** Для GPU режиму потрібно ~8GB VRAM для chandra-small
|
||||
|
||||
---
|
||||
|
||||
## 📝 Наступні кроки
|
||||
|
||||
1. Перевірити health endpoints
|
||||
2. Протестувати обробку тестового документа
|
||||
3. Налаштувати GPU (якщо потрібно)
|
||||
4. Інтегрувати в `doc_service.py` (опціонально)
|
||||
|
||||
---
|
||||
|
||||
**Встановлення завершено!**
|
||||
|
||||
---
|
||||
|
||||
**Оновлено:** 2026-01-12
|
||||
Reference in New Issue
Block a user