2a353040f6
G.2.5 - Tests: - Add pytest test suite with fixtures - test_preprocessing.py - PDF/image loading, normalization, validation - test_postprocessing.py - chunks, QA pairs, markdown generation - test_inference.py - dummy parser and inference functions - test_api.py - API endpoint tests - Add pytest.ini configuration G.1.3 - dots.ocr Integration: - Update model_loader.py with real model loading code - Support for AutoModelForVision2Seq and AutoProcessor - Device handling (CUDA/CPU/MPS) with fallback - Error handling with dummy fallback option - Update inference.py with real model inference - Process images through model - Generate and decode outputs - Parse model output to blocks - Add model_output_parser.py - Parse JSON or plain text model output - Convert to structured blocks - Layout detection support (placeholder) Dependencies: - Add pytest, pytest-asyncio, httpx for testing
PARSER Service
Document Ingestion & Structuring Agent using dots.ocr.
Опис
PARSER Service — це FastAPI сервіс для розпізнавання та структурування документів (PDF, зображення) через модель dots.ocr.
Структура
parser-service/
├── app/
│ ├── main.py # FastAPI application
│ ├── api/
│ │ └── endpoints.py # API endpoints
│ ├── core/
│ │ └── config.py # Configuration
│ ├── runtime/
│ │ ├── __init__.py
│ │ ├── model_loader.py # Model loading
│ │ └── inference.py # Inference functions
│ └── schemas.py # Pydantic models
├── requirements.txt
├── Dockerfile
└── README.md
API Endpoints
POST /ocr/parse
Parse document (PDF or image).
Request:
file: UploadFile (multipart/form-data)doc_url: Optional[str] (not yet implemented)output_mode:raw_json|markdown|qa_pairs|chunksdao_id: Optional[str]doc_id: Optional[str]
Response:
{
"document": {...}, // for raw_json mode
"markdown": "...", // for markdown mode
"qa_pairs": [...], // for qa_pairs mode
"chunks": [...], // for chunks mode
"metadata": {}
}
POST /ocr/parse_qa
Parse document and return Q&A pairs.
POST /ocr/parse_markdown
Parse document and return Markdown.
POST /ocr/parse_chunks
Parse document and return chunks for RAG.
GET /health
Health check endpoint.
Конфігурація
Environment variables:
PARSER_MODEL_NAME: Model name (default:rednote-hilab/dots.ocr)PARSER_DEVICE: Device (cuda,cpu,mps)PARSER_MAX_PAGES: Max pages to process (default: 100)PARSER_MAX_RESOLUTION: Max resolution (default:4096x4096)MAX_FILE_SIZE_MB: Max file size in MB (default: 50)TEMP_DIR: Temporary directory (default:/tmp/parser)
Запуск
Development
cd services/parser-service
pip install -r requirements.txt
uvicorn app.main:app --reload --host 0.0.0.0 --port 9400
Docker
docker-compose up parser-service
Статус реалізації
- Базова структура сервісу
- API endpoints (з mock-даними)
- Pydantic schemas
- Configuration
- Інтеграція з dots.ocr моделлю
- PDF processing
- Image processing
- Markdown conversion
- QA pairs extraction
Наступні кроки
- Інтегрувати dots.ocr модель в
app/runtime/inference.py - Додати PDF → images конвертацію
- Реалізувати реальний parsing замість dummy
- Додати тести