382e661f1f
Parser Service: - Add /ocr/ingest endpoint (PARSER → RAG in one call) - Add RAG_BASE_URL and RAG_TIMEOUT to config - Add OcrIngestResponse schema - Create file_converter utility for PDF/image → PNG bytes - Endpoint accepts file, dao_id, doc_id, user_id - Automatically parses with dots.ocr and sends to RAG Service Router Integration: - Add _handle_rag_query() method in RouterApp - Combines Memory + RAG → LLM pipeline - Get Memory context (facts, events, summaries) - Query RAG Service for documents - Build prompt with Memory + RAG documents - Call LLM provider with combined context - Return answer with citations Clients: - Create rag_client.py for Router (query RAG Service) - Create memory_client.py for Router (get Memory context) E2E Tests: - Create e2e_rag_pipeline.sh script for full pipeline test - Test ingest → query → router query flow - Add E2E_RAG_README.md with usage examples Docker: - Add RAG_SERVICE_URL and MEMORY_SERVICE_URL to router environment
PARSER Service
Document Ingestion & Structuring Agent using dots.ocr.
Опис
PARSER Service — це FastAPI сервіс для розпізнавання та структурування документів (PDF, зображення) через модель dots.ocr.
Структура
parser-service/
├── app/
│ ├── main.py # FastAPI application
│ ├── api/
│ │ └── endpoints.py # API endpoints
│ ├── core/
│ │ └── config.py # Configuration
│ ├── runtime/
│ │ ├── __init__.py
│ │ ├── model_loader.py # Model loading
│ │ └── inference.py # Inference functions
│ └── schemas.py # Pydantic models
├── requirements.txt
├── Dockerfile
└── README.md
API Endpoints
POST /ocr/parse
Parse document (PDF or image).
Request:
file: UploadFile (multipart/form-data)doc_url: Optional[str] (not yet implemented)output_mode:raw_json|markdown|qa_pairs|chunksdao_id: Optional[str]doc_id: Optional[str]
Response:
{
"document": {...}, // for raw_json mode
"markdown": "...", // for markdown mode
"qa_pairs": [...], // for qa_pairs mode
"chunks": [...], // for chunks mode
"metadata": {}
}
POST /ocr/parse_qa
Parse document and return Q&A pairs.
POST /ocr/parse_markdown
Parse document and return Markdown.
POST /ocr/parse_chunks
Parse document and return chunks for RAG.
GET /health
Health check endpoint.
Конфігурація
Environment variables:
PARSER_MODEL_NAME: Model name (default:rednote-hilab/dots.ocr)PARSER_DEVICE: Device (cuda,cpu,mps)PARSER_MAX_PAGES: Max pages to process (default: 100)PARSER_MAX_RESOLUTION: Max resolution (default:4096x4096)MAX_FILE_SIZE_MB: Max file size in MB (default: 50)TEMP_DIR: Temporary directory (default:/tmp/parser)
Запуск
Development
cd services/parser-service
pip install -r requirements.txt
uvicorn app.main:app --reload --host 0.0.0.0 --port 9400
Docker
docker-compose up parser-service
Статус реалізації
- Базова структура сервісу
- API endpoints (з mock-даними)
- Pydantic schemas
- Configuration
- Інтеграція з dots.ocr моделлю
- PDF processing
- Image processing
- Markdown conversion
- QA pairs extraction
Наступні кроки
- Інтегрувати dots.ocr модель в
app/runtime/inference.py - Додати PDF → images конвертацію
- Реалізувати реальний parsing замість dummy
- Додати тести