00f9102e50
Ollama Runtime: - Add ollama_client.py for Ollama API integration - Support for dots-ocr model via Ollama - Add OLLAMA_BASE_URL configuration - Update inference.py to support Ollama runtime (RUNTIME_TYPE=ollama) - Update endpoints to handle async Ollama calls - Alternative to local transformers model RAG Implementation Plan: - Create TODO-RAG.md with detailed Haystack integration plan - Document Store setup (pgvector) - Embedding model selection - Ingest pipeline (PARSER → RAG) - Query pipeline (RAG → LLM) - Integration with DAGI Router - Bot commands (/upload_doc, /ask_doc) - Testing strategy Now supports three runtime modes: 1. Local transformers (RUNTIME_TYPE=local) 2. Ollama (RUNTIME_TYPE=ollama) 3. Dummy (USE_DUMMY_PARSER=true)
PARSER Service
Document Ingestion & Structuring Agent using dots.ocr.
Опис
PARSER Service — це FastAPI сервіс для розпізнавання та структурування документів (PDF, зображення) через модель dots.ocr.
Структура
parser-service/
├── app/
│ ├── main.py # FastAPI application
│ ├── api/
│ │ └── endpoints.py # API endpoints
│ ├── core/
│ │ └── config.py # Configuration
│ ├── runtime/
│ │ ├── __init__.py
│ │ ├── model_loader.py # Model loading
│ │ └── inference.py # Inference functions
│ └── schemas.py # Pydantic models
├── requirements.txt
├── Dockerfile
└── README.md
API Endpoints
POST /ocr/parse
Parse document (PDF or image).
Request:
file: UploadFile (multipart/form-data)doc_url: Optional[str] (not yet implemented)output_mode:raw_json|markdown|qa_pairs|chunksdao_id: Optional[str]doc_id: Optional[str]
Response:
{
"document": {...}, // for raw_json mode
"markdown": "...", // for markdown mode
"qa_pairs": [...], // for qa_pairs mode
"chunks": [...], // for chunks mode
"metadata": {}
}
POST /ocr/parse_qa
Parse document and return Q&A pairs.
POST /ocr/parse_markdown
Parse document and return Markdown.
POST /ocr/parse_chunks
Parse document and return chunks for RAG.
GET /health
Health check endpoint.
Конфігурація
Environment variables:
PARSER_MODEL_NAME: Model name (default:rednote-hilab/dots.ocr)PARSER_DEVICE: Device (cuda,cpu,mps)PARSER_MAX_PAGES: Max pages to process (default: 100)PARSER_MAX_RESOLUTION: Max resolution (default:4096x4096)MAX_FILE_SIZE_MB: Max file size in MB (default: 50)TEMP_DIR: Temporary directory (default:/tmp/parser)
Запуск
Development
cd services/parser-service
pip install -r requirements.txt
uvicorn app.main:app --reload --host 0.0.0.0 --port 9400
Docker
docker-compose up parser-service
Статус реалізації
- Базова структура сервісу
- API endpoints (з mock-даними)
- Pydantic schemas
- Configuration
- Інтеграція з dots.ocr моделлю
- PDF processing
- Image processing
- Markdown conversion
- QA pairs extraction
Наступні кроки
- Інтегрувати dots.ocr модель в
app/runtime/inference.py - Додати PDF → images конвертацію
- Реалізувати реальний parsing замість dummy
- Додати тести