microdao-daarion/DATALAB-CHANDRA-DEPLOYMENT-COMPLETE.md

✅ Datalab Chandra - Встановлення завершено

Дата: 2026-01-12

---

✅ Виконано

1. Створено та завантажено:

• ✅ chandra-inference — inference сервіс з HuggingFace моделлю
• ✅ chandra-service — API wrapper сервіс
• ✅ Docker образи зібрані
• ✅ Контейнери запущені

2. Налаштовано:

• ✅ Docker Compose конфігурація
• ✅ CPU режим (GPU можна увімкнути пізніше)
• ✅ Health checks
• ✅ Router інтеграція (OCR_URL, CHANDRA_URL)

3. Виправлено:

• ✅ Проблема з GPU драйвером — тимчасово використовується CPU режим
• ✅ Конфігурація оновлена для роботи без nvidia-container-toolkit

---

📊 Поточний статус

Контейнери:

• ✅ dagi-chandra-inference-node1 — запущений
• ✅ dagi-chandra-service-node1 — запущений

Порти:

• ✅ 8000 — chandra-inference
• ✅ 8002 — chandra-service

---

🔧 Налаштування GPU (опціонально)

Для використання GPU потрібно:

1. Встановити nvidia-container-toolkit:

   # На НОДА1
   distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
   curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
   curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
   apt-get update && apt-get install -y nvidia-container-toolkit
   systemctl restart docker
   

2. Увімкнути GPU в docker-compose.node1.yml:

   • Розкоментувати секцію deploy.resources.reservations.devices
   • Змінити DEVICE=cpu на DEVICE=cuda

3. Перезапустити:

   docker compose -f docker-compose.node1.yml restart chandra-inference
   

---

🎯 Використання

Health check:

curl http://localhost:8002/health

Обробка документа:

curl -X POST http://localhost:8002/process \
  -F "file=@document.pdf" \
  -F "output_format=markdown" \
  -F "accurate_mode=false"

Через Router:

Router автоматично використовує CHANDRA_URL для обробки документів.

---

⚠️ Примітки

1. CPU режим: Зараз працює в CPU режимі, що повільніше, але працює
2. Модель завантажується: Перший запуск може зайняти 5-10 хвилин для завантаження моделі з HuggingFace
3. VRAM: Для GPU режиму потрібно ~8GB VRAM для chandra-small

---

📝 Наступні кроки

1. Перевірити health endpoints
2. Протестувати обробку тестового документа
3. Налаштувати GPU (якщо потрібно)
4. Інтегрувати в doc_service.py (опціонально)

---

Встановлення завершено!

---

Оновлено: 2026-01-12