daarion-admin/microdao-daarion
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

🧠 Complete Memory Stack setup across all nodes
Some checks failed
Build and Deploy Docs / build-and-deploy (push) Has been cancelled
Details

Browse Source 
- NODE1: Neo4j (K8s), NVIDIA RTX 4000 + CUDA 13.1
- NODE2: Fixed Neo4j & Qdrant containers
- NODE3: Full stack (PostgreSQL + Qdrant + Neo4j)
- Updated MEMORY-MODULE-STATUS.md v2.0.0
This commit is contained in:
Apple
2026-01-10 08:26:42 -08:00
parent 8aee29d42d
commit f4ccf7c570
1 changed files with 100 additions and 61 deletions
Download Patch File Download Diff File Expand all files Collapse all files

161
docs/MEMORY-MODULE-STATUS.md
View File

@@ -1,20 +1,21 @@
# 🧠 Agent Memory Module — Status Report # 🧠 Agent Memory Module — Status Report
**Дата:** 2026-01-10 **Дата:** 2026-01-10
**Версія документа:** 1.0.0 **Версія документа:** 2.0.0
**Останнє оновлення:** 17:30 CET
--- ---
## 📊 Загальний статус ## 📊 Загальний статус
| Компонент | NODE1 | NODE2 | NODE3 | | Компонент | NODE1 | NODE2 | NODE3 |
|-----------|-------|-------|-------| |-----------|:-----:|:-----:|:-----:|
| **PostgreSQL** | ✅ K8s (CloudNativePG) | ❌ | ✅ Docker | | **PostgreSQL** | ✅ K8s (CloudNativePG) | ❌ | ✅ Docker |
| **Qdrant** | ✅ K8s | ✅ Docker (unhealthy) | ❌ | | **Qdrant** | ✅ K8s | ✅ Docker | ✅ Docker |
| **Neo4j** | ❌ | ⚠️ Docker (restarting) | ❌ | | **Neo4j** | ✅ K8s | ✅ Docker | ✅ Docker |
| **Ollama** | ✅ v0.13.5 (fresh) | ✅ v0.12.11 | ✅ v0.13.5 | | **Ollama** | ✅ v0.13.5 | ✅ v0.12.11 | ✅ v0.13.5 |
| **NVIDIA GPU** | ❌ (CPU only) | ❌ (Apple M4) | ✅ RTX 3090 | | **NVIDIA GPU** | ✅ RTX 4000 SFF Ada | ❌ (Apple M4) | ✅ RTX 3090 |
| **LTS-2 (CUDA)** | ⚠️ Driver 590.48.01 | N/A | ✅ CUDA 13.0 | | **CUDA** | ✅ 13.1 | N/A | ✅ 13.0 |
--- ---
@@ -24,6 +25,13 @@
**OS:** Ubuntu 24.04.3 LTS **OS:** Ubuntu 24.04.3 LTS
**Role:** K8s Master (K3s), Primary Database Host **Role:** K8s Master (K3s), Primary Database Host
### Hardware
```
GPU: NVIDIA RTX 4000 SFF Ada Generation (20GB VRAM)
Driver: 590.48.01
CUDA: 13.1
```
### Memory System Components ### Memory System Components
#### ✅ PostgreSQL (CloudNativePG) #### ✅ PostgreSQL (CloudNativePG)
@@ -32,6 +40,7 @@ Status: Running (1/1)
Pod: daarion-postgres-1 Pod: daarion-postgres-1
Namespace: daarion Namespace: daarion
Storage: PVC-backed Storage: PVC-backed
Port: 5432 (internal)
``` ```
**Таблиці (Agent Memory Schema):** **Таблиці (Agent Memory Schema):**
@@ -53,10 +62,19 @@ Status: Running (1/1)
Pod: qdrant-5d45444569-hfbzg Pod: qdrant-5d45444569-hfbzg
Namespace: qdrant Namespace: qdrant
Port: 6333 (internal), 30333 (NodePort) Port: 6333 (internal), 30333 (NodePort)
Collection: memories (1024-dim, Cosine)
``` ```
**Колекції:** #### ✅ Neo4j (Graph Database)
- `memories` — 1024-dimensional vectors (Cohere embed-multilingual-v3.0) ```
Status: Running (1/1)
Pod: neo4j-76f9cbbd87-nphr5
Namespace: neo4j
HTTP: 7474 (internal), 30474 (NodePort)
Bolt: 7687 (internal), 30687 (NodePort)
Auth: neo4j/DaarionNeo4j2026!
Plugins: APOC
```
#### ✅ External Secrets (Vault Integration) #### ✅ External Secrets (Vault Integration)
``` ```
@@ -69,13 +87,7 @@ memory-service-secrets: SecretSynced ✅
Version: 0.13.5 Version: 0.13.5
Service: systemd (enabled, running) Service: systemd (enabled, running)
API: http://127.0.0.1:11434 API: http://127.0.0.1:11434
Models: (none downloaded yet) GPU: NVIDIA RTX 4000 SFF Ada (CUDA 13.1)
GPU: NVIDIA Driver 590.48.01 (DKMS installed)
```
#### ❌ Neo4j
```
Status: NOT INSTALLED
``` ```
--- ---
@@ -94,20 +106,23 @@ Status: NOT INSTALLED
Note: Can use NODE1's PostgreSQL via SSH tunnel Note: Can use NODE1's PostgreSQL via SSH tunnel
``` ```
#### ⚠️ Qdrant (Docker) #### ✅ Qdrant (Docker)
``` ```
Container: qdrant-vector-db Container: qdrant-vector-db
Status: Up 5 hours (unhealthy) Status: Running ✅
Ports: 6333-6335 Ports: 6333-6335
Image: qdrant/qdrant:latest
``` ```
#### ⚠️ Neo4j (Docker) #### ✅ Neo4j (Docker)
``` ```
Containers: Container: neo4j-daarion
- dagi-neo4j: Restarting (exit code 1) Status: Running ✅
- dagi-neo4j-exporter: Restarting (exit code 0) HTTP: 7474
Bolt: 7687
Auth: neo4j/DaarionNeo4j2026!
Image: neo4j:5.15-community Image: neo4j:5.15-community
Status: NEEDS ATTENTION Plugins: APOC
``` ```
#### ✅ Ollama #### ✅ Ollama
@@ -148,21 +163,33 @@ CUDA: 13.0
#### ✅ PostgreSQL (Docker) #### ✅ PostgreSQL (Docker)
``` ```
Container: dagi-postgres Container: postgres-daarion
Image: postgres (23e88eb049fd) Image: postgres:16-alpine
Status: Up 3 hours Status: Running ✅
Port: 5432 Port: 5432
Database: daarion_main
Auth: postgres/DaarionPostgres2026!
Schema: Agent Memory Schema (9 tables)
``` ```
#### ❌ Qdrant #### ✅ Qdrant (Docker)
``` ```
Status: NOT INSTALLED Container: qdrant-daarion
Note: Can deploy via Docker or K3s Image: qdrant/qdrant:v1.7.4
Status: Running ✅
Ports: 6333, 6334
Collection: memories (1024-dim, Cosine)
``` ```
#### ❌ Neo4j #### ✅ Neo4j (Docker)
``` ```
Status: NOT INSTALLED Container: neo4j-daarion
Image: neo4j:5.15-community
Status: Running ✅
HTTP: 7474
Bolt: 7687
Auth: neo4j/DaarionNeo4j2026!
Plugins: APOC
``` ```
#### ✅ Ollama #### ✅ Ollama
@@ -178,16 +205,6 @@ GPU: RTX 3090 (CUDA enabled)
| qwen3:32b | 20 GB | 25 hours ago | | qwen3:32b | 20 GB | 25 hours ago |
| llama3:latest | 4.7 GB | 2 days ago | | llama3:latest | 4.7 GB | 2 days ago |
#### ✅ LTS-2 / CUDA
```
NVIDIA-SMI: 580.95.05
Driver Version: 580.95.05
CUDA Version: 13.0
GPU Memory: 24576 MiB
Temperature: 56°C
Power: 126W / 390W
```
--- ---
## 🔗 Архітектура Memory Module ## 🔗 Архітектура Memory Module
@@ -211,16 +228,24 @@ Power: 126W / 390W
│ │ │ │ │ │
│ ▼ │ │ ▼ │
│ ┌─────────────────────────────────────────────────────────┐ │ │ ┌─────────────────────────────────────────────────────────┐ │
│ │ PostgreSQL (NODE1) │ │ │ │ PostgreSQL │ │
│ │ CloudNativePG + pgvector │ │ │ │ NODE1 (K8s) + NODE3 (Docker) │ │
│ └─────────────────────────────────────────────────────────┘ │ │ └─────────────────────────────────────────────────────────┘ │
│ │ │ │ │ │
│ ▼ │ │ ▼ │
│ ┌─────────────────────────────────────────────────────────┐ │ │ ┌─────────────────────────────────────────────────────────┐ │
│ │ Qdrant (NODE1) │ │ │ │ Qdrant │ │
│ │ NODE1 (K8s) + NODE2 (Docker) + NODE3 (Docker) │ │
│ │ Semantic Search (1024-dim) │ │ │ │ Semantic Search (1024-dim) │ │
│ │ Cohere embed-multilingual-v3.0 │ │ │ │ Cohere embed-multilingual-v3.0 │ │
│ └─────────────────────────────────────────────────────────┘ │ │ └─────────────────────────────────────────────────────────┘ │
│ │ │
│ ▼ │
│ ┌─────────────────────────────────────────────────────────┐ │
│ │ Neo4j │ │
│ │ NODE1 (K8s) + NODE2 (Docker) + NODE3 (Docker) │ │
│ │ Knowledge Graph + Relationships │ │
│ └─────────────────────────────────────────────────────────┘ │
│ │ │ │
├─────────────────────────────────────────────────────────────────┤ ├─────────────────────────────────────────────────────────────────┤
│ INFERENCE LAYER │ │ INFERENCE LAYER │
@@ -228,10 +253,10 @@ Power: 126W / 390W
│ ┌──────────────┐ ┌──────────────┐ ┌──────────────┐ │ │ ┌──────────────┐ ┌──────────────┐ ┌──────────────┐ │
│ │ NODE1 │ │ NODE2 │ │ NODE3 │ │ │ │ NODE1 │ │ NODE2 │ │ NODE3 │ │
│ │ Ollama │ │ Ollama │ │ Ollama │ │ │ │ Ollama │ │ Ollama │ │ Ollama │ │
│ │ (CPU) │ │ (M4) │ │ (RTX 3090) │ │ │ │ (RTX 4000) │ │ (M4) │ │ (RTX 3090) │ │
│ │ │ │ │ │ │ │ │ │ │ │ │ │ │ │
│ │ API-only │ │ 9 models │ │ 2 models │ │ │ │ 20GB VRAM │ │ 9 models │ │ 24GB VRAM │ │
│ │ inference │ │ (42GB max) │ │ (20GB max) │ │ │ │ CUDA 13.1 │ │ (42GB max) │ │ CUDA 13.0 │ │
│ └──────────────┘ └──────────────┘ └──────────────┘ │ │ └──────────────┘ └──────────────┘ └──────────────┘ │
│ │ │ │
└─────────────────────────────────────────────────────────────────┘ └─────────────────────────────────────────────────────────────────┘
@@ -241,31 +266,44 @@ Power: 126W / 390W
## 📋 TODO / Recommendations ## 📋 TODO / Recommendations
### Критичні ### ✅ Виконано (2026-01-10)
- [ ] **NODE2 Neo4j** — Виправити контейнер (постійний restart) - [x] **NODE1** — Встановлено Neo4j в K8s
- [ ] **NODE2 Qdrant** — Перевірити healthcheck - [x] **NODE1** — NVIDIA драйвери та CUDA 13.1
- [x] **NODE2** — Виправлено Neo4j контейнер
- [x] **NODE2** — Перезапущено Qdrant
- [x] **NODE3** — Встановлено Qdrant
- [x] **NODE3** — Встановлено Neo4j
- [x] **NODE3** — Застосовано Agent Memory Schema
### Рекомендовані ### Рекомендовані
- [ ] **NODE1** — Завантажити базову модель в Ollama (e.g., `llama3:8b`) - [ ] **NODE1** — Завантажити базову модель в Ollama (e.g., `llama3:8b`)
- [ ] **NODE3** — Встановити Qdrant для локального семантичного пошуку
- [ ] **NODE1** — Встановити Neo4j для графового зберігання зв'язків
### Опціональні
- [ ] Налаштувати реплікацію PostgreSQL NODE1 ↔ NODE3 - [ ] Налаштувати реплікацію PostgreSQL NODE1 ↔ NODE3
- [ ] Розгорнути Memory Service (FastAPI) в K8s - [ ] Розгорнути Memory Service (FastAPI) в K8s
- [ ] Інтегрувати Cohere API для автоматичного ембедингу - [ ] Інтегрувати Cohere API для автоматичного ембедингу
### Опціональні
- [ ] Налаштувати Neo4j кластер між нодами
- [ ] Встановити pgvector для PostgreSQL
- [ ] Налаштувати backup для всіх баз даних
--- ---
## 🔐 Credentials Reference ## 🔐 Credentials Reference
| Service | Location | Access | | Service | Location | Auth |
|---------|----------|--------| |---------|----------|------|
| PostgreSQL | NODE1 K8s | Via Vault → External Secrets | | PostgreSQL NODE1 | K8s (daarion ns) | Via Vault → External Secrets |
| Qdrant | NODE1 K8s | Internal ClusterIP | | PostgreSQL NODE3 | Docker | postgres/DaarionPostgres2026! |
| Ollama NODE1 | localhost:11434 | UFW port 11434 | | Qdrant NODE1 | K8s (qdrant ns) | No auth (internal) |
| Qdrant NODE2 | Docker :6333 | No auth |
| Qdrant NODE3 | Docker :6333 | No auth |
| Neo4j NODE1 | K8s :30474/:30687 | neo4j/DaarionNeo4j2026! |
| Neo4j NODE2 | Docker :7474/:7687 | neo4j/DaarionNeo4j2026! |
| Neo4j NODE3 | Docker :7474/:7687 | neo4j/DaarionNeo4j2026! |
| Ollama NODE1 | localhost:11434 | No auth |
| Ollama NODE2 | localhost:11434 | No auth |
| Ollama NODE3 | localhost:11434 | SSH tunnel required | | Ollama NODE3 | localhost:11434 | SSH tunnel required |
| Cohere API | Memory Service | `nOdOXnuepLku2ipJWpe6acWgAsJCsDhMO0RnaEJB` | | Cohere API | Memory Service | nOdOXnuepLku2ipJWpe6acWgAsJCsDhMO0RnaEJB |
--- ---
@@ -273,9 +311,10 @@ Power: 126W / 390W
- `infrastructure/database/agent-memory-schema.sql` — PostgreSQL schema - `infrastructure/database/agent-memory-schema.sql` — PostgreSQL schema
- `infrastructure/kubernetes/apps/qdrant/deployment.yaml` — Qdrant K8s config - `infrastructure/kubernetes/apps/qdrant/deployment.yaml` — Qdrant K8s config
- `infrastructure/kubernetes/neo4j/` — Neo4j K8s config
- `services/memory-service/` — FastAPI Memory Service (not deployed yet) - `services/memory-service/` — FastAPI Memory Service (not deployed yet)
- `INFRASTRUCTURE.md` — Main infrastructure documentation - `INFRASTRUCTURE.md` — Main infrastructure documentation
--- ---
*Документ згенеровано автоматично: 2026-01-10 17:10 CET* *Документ оновлено: 2026-01-10 17:30 CET*