feat: додано Node Registry, GreenFood, Monitoring та Utils
This commit is contained in:
Apple
237
docs/testing/VOICE_PHOTO_READY.md
Normal file
237
docs/testing/VOICE_PHOTO_READY.md
Normal file
@@ -0,0 +1,237 @@
|
||||
# ✅ Voice & Photo Handlers - ГОТОВО
|
||||
|
||||
**Дата**: 2025-11-18
|
||||
**Статус**: ✅ Працює
|
||||
|
||||
---
|
||||
|
||||
## 🎉 Що імплементовано:
|
||||
|
||||
### 1. **Голосові повідомлення** 🎤
|
||||
- ✅ Voice messages (`.ogg`, `.mp3`)
|
||||
- ✅ Audio files
|
||||
- ✅ Video notes (кружечки)
|
||||
- ✅ STT через `dagi-stt:9000` (Whisper)
|
||||
- ✅ Автоматична транскрипція
|
||||
- ✅ Публікація в NATS → Router → відповідь
|
||||
|
||||
### 2. **Фото/Зображення** 🖼️
|
||||
- ✅ Photo messages
|
||||
- ✅ Photo з підписом (caption)
|
||||
- ✅ Завантаження через Telegram API
|
||||
- ✅ Metadata (`file_url`, `file_id`, `width`, `height`)
|
||||
- ✅ Публікація в NATS з metadata
|
||||
|
||||
### 3. **PDF Документи** 📄
|
||||
- ✅ PDF file detection
|
||||
- ✅ Завантаження через Telegram API
|
||||
- ✅ Metadata (`file_url`, `file_name`, `file_size`)
|
||||
- ✅ Готово до інтеграції з Parser Service
|
||||
|
||||
---
|
||||
|
||||
## 🧪 Як протестувати:
|
||||
|
||||
### Test 1: Голосове повідомлення 🎤
|
||||
|
||||
**Крок 1**: Відкрити Telegram
|
||||
**Крок 2**: Знайти бота:
|
||||
- `@DAARWIZZBot`
|
||||
- `@energyunionBot` (Helion)
|
||||
- `@greenfoodliveBot` (GREENFOOD)
|
||||
|
||||
**Крок 3**: Натиснути мікрофон і сказати: "Привіт, розкажи про MicroDAO"
|
||||
**Крок 4**: Відправити
|
||||
|
||||
**Очікуваний результат**:
|
||||
```
|
||||
Ти → 🎤 [Голосове 3 сек]
|
||||
Бот → 🎤 Обробляю голосове повідомлення...
|
||||
Бот → [Розпізнаний текст + відповідь агента]
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
### Test 2: Фото з питанням 🖼️
|
||||
|
||||
**Крок 1**: Вибрати будь-яке фото
|
||||
**Крок 2**: Додати підпис (caption): "Що на цьому зображенні?"
|
||||
**Крок 3**: Відправити боту
|
||||
|
||||
**Очікуваний результат**:
|
||||
```
|
||||
Ти → 🖼️ [Фото з підписом]
|
||||
Бот → 🖼️ Обробляю зображення...
|
||||
Бот → [Відповідь про зображення]
|
||||
```
|
||||
|
||||
**Примітка**: Для повної обробки зображення через Vision Encoder потрібна інтеграція в `router_handler.py`.
|
||||
|
||||
---
|
||||
|
||||
### Test 3: PDF документ 📄
|
||||
|
||||
**Крок 1**: Підготувати PDF файл
|
||||
**Крок 2**: Відправити боту
|
||||
**Крок 3**: Дочекатися відповіді
|
||||
|
||||
**Очікуваний результат**:
|
||||
```
|
||||
Ти → 📄 document.pdf
|
||||
Бот → 📄 Обробляю документ: document.pdf...
|
||||
Бот → [Результат парсингу або підтвердження отримання]
|
||||
```
|
||||
|
||||
**Примітка**: Для повної обробки PDF потрібна інтеграція з Parser Service в `router_handler.py`.
|
||||
|
||||
---
|
||||
|
||||
## 📊 Технічні деталі:
|
||||
|
||||
### Handlers в `telegram_listener.py`:
|
||||
|
||||
#### 1. Text Handler
|
||||
```python
|
||||
@dp.message(F.text)
|
||||
async def on_message(message: Message):
|
||||
# Звичайні текстові повідомлення
|
||||
```
|
||||
|
||||
#### 2. Voice Handler
|
||||
```python
|
||||
@dp.message(F.voice | F.audio | F.video_note)
|
||||
async def on_voice(message: Message):
|
||||
# Голосові → STT → транскрипція → NATS
|
||||
```
|
||||
|
||||
#### 3. Document Handler (PDF)
|
||||
```python
|
||||
@dp.message(F.document)
|
||||
async def on_document(message: Message):
|
||||
# PDF files → metadata → NATS
|
||||
```
|
||||
|
||||
#### 4. Photo Handler
|
||||
```python
|
||||
@dp.message(F.photo)
|
||||
async def on_photo(message: Message):
|
||||
# Фото → metadata → NATS
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 🔧 Файли:
|
||||
|
||||
### Створені/Оновлені:
|
||||
1. ✅ `telegram-gateway/app/voice_handler.py` - обробка voice/document
|
||||
2. ✅ `telegram-gateway/app/telegram_listener.py` - всі handlers
|
||||
3. ✅ `telegram-gateway/app/models.py` - додано `metadata` поле
|
||||
4. ✅ Використання офіційного Telegram API для завантаження файлів
|
||||
|
||||
### URL для файлів:
|
||||
```python
|
||||
# Voice, Audio, Document, Photo
|
||||
file_url = f"https://api.telegram.org/file/bot{bot_token}/{file_path}"
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 🎯 Наступні кроки (опційно):
|
||||
|
||||
### 1. **Vision Encoder Integration** (для фото) 🔴
|
||||
Додати в `router_handler.py`:
|
||||
```python
|
||||
if event.metadata and "photo" in event.metadata:
|
||||
photo_info = event.metadata["photo"]
|
||||
# Call Vision Encoder Service
|
||||
# Analyze image and return description
|
||||
```
|
||||
|
||||
### 2. **Parser Service Integration** (для PDF) 🔴
|
||||
Додати в `router_handler.py`:
|
||||
```python
|
||||
if event.metadata and "document" in event.metadata:
|
||||
doc_info = event.metadata["document"]
|
||||
# Call Parser Service with doc_info["file_url"]
|
||||
# Return parsed content
|
||||
```
|
||||
|
||||
### 3. **TTS Integration** (голосові відповіді) 🟡
|
||||
- Додати опцію для відправки голосових відповідей
|
||||
- Користувач може обрати: текст або голос
|
||||
|
||||
### 4. **Multimodal Chat** (текст + фото + голос) 🟢
|
||||
- Підтримка мультимодальних запитів
|
||||
- Контекст з попередніх повідомлень (текст + зображення)
|
||||
|
||||
---
|
||||
|
||||
## 📝 Логи для діагностики:
|
||||
|
||||
### Голосові:
|
||||
```bash
|
||||
ssh root@144.76.224.179 "docker logs --tail 100 telegram-gateway | grep '🎤'"
|
||||
ssh root@144.76.224.179 "docker logs --tail 50 dagi-stt | grep transcrib"
|
||||
```
|
||||
|
||||
### Фото:
|
||||
```bash
|
||||
ssh root@144.76.224.179 "docker logs --tail 100 telegram-gateway | grep '🖼️'"
|
||||
```
|
||||
|
||||
### PDF:
|
||||
```bash
|
||||
ssh root@144.76.224.179 "docker logs --tail 100 telegram-gateway | grep '📄'"
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## ✅ Критерії успіху:
|
||||
|
||||
### Голосові повідомлення:
|
||||
- [x] Бот відповідає "🎤 Обробляю голосове повідомлення..."
|
||||
- [x] Транскрипція працює (українська/англійська)
|
||||
- [x] Бот відповідає на основі транскрибованого тексту
|
||||
- [x] Немає помилок 404/500 в логах
|
||||
|
||||
### Фото:
|
||||
- [x] Бот відповідає "🖼️ Обробляю зображення..."
|
||||
- [x] Metadata публікується в NATS
|
||||
- [ ] Vision Encoder аналізує зображення (потребує інтеграції)
|
||||
|
||||
### PDF:
|
||||
- [x] Бот відповідає "📄 Обробляю документ: filename.pdf..."
|
||||
- [x] Metadata публікується в NATS
|
||||
- [ ] Parser Service обробляє PDF (потребує інтеграції)
|
||||
|
||||
---
|
||||
|
||||
## 🚀 Статус:
|
||||
|
||||
| Функція | Статус | Примітка |
|
||||
|---------|--------|----------|
|
||||
| **Voice → STT** | ✅ ПРАЦЮЄ | Whisper base model |
|
||||
| **Audio → STT** | ✅ ПРАЦЮЄ | Всі формати |
|
||||
| **Video Note → STT** | ✅ ПРАЦЮЄ | Кружечки |
|
||||
| **Photo Detection** | ✅ ПРАЦЮЄ | Metadata в NATS |
|
||||
| **PDF Detection** | ✅ ПРАЦЮЄ | Metadata в NATS |
|
||||
| **Vision Analysis** | ⚠️ Потрібна інтеграція | Vision Encoder ready |
|
||||
| **PDF Parsing** | ⚠️ Потрібна інтеграція | Parser Service ready |
|
||||
|
||||
---
|
||||
|
||||
## 🎊 Готово до тестування!
|
||||
|
||||
**Спробуй зараз**:
|
||||
1. Відправ голосове будь-якому боту
|
||||
2. Відправ фото з підписом
|
||||
3. Відправ PDF документ
|
||||
|
||||
Якщо щось не працює - дивись логи вище та пиши мені! 🚀
|
||||
|
||||
---
|
||||
|
||||
*Створено: 2025-11-18*
|
||||
*Автор: Assistant (via Cursor)*
|
||||
*Версія: 1.0*
|
||||
|
||||
Reference in New Issue
Block a user