Modelfile для моделей з HuggingFace¶

Ці Modelfile потрібні для імпорту конвертованих моделей з HuggingFace в Ollama.

1. Qwen2.5-VL-32B¶

Файл: Modelfile.qwen2.5-vl-32b

FROM ./qwen2.5-vl-32b-q4_k_m.gguf

TEMPLATE """{{ if .System }}System: {{ .System }}

{{ end }}{{ if .Prompt }}User: {{ .Prompt }}

{{ end }}Assistant:"""

PARAMETER stop "User:"
PARAMETER stop "Assistant:"
PARAMETER stop "<|im_end|>"
PARAMETER stop "<|endoftext|>"

PARAMETER temperature 0.7
PARAMETER top_p 0.9
PARAMETER top_k 40
PARAMETER num_ctx 131072
PARAMETER num_predict 4096

Команда імпорту:

ollama create qwen2.5-vl-32b -f Modelfile.qwen2.5-vl-32b

2. RWKV-World-32B¶

Файл: Modelfile.rwkv-world-32b

FROM ./rwkv-6-world-32b-q4_k_m.gguf

TEMPLATE """{{ if .System }}System: {{ .System }}

{{ end }}{{ if .Prompt }}User: {{ .Prompt }}

{{ end }}Assistant:"""

PARAMETER stop "User:"
PARAMETER stop "Assistant:"
PARAMETER stop "\n\n\n"

PARAMETER temperature 0.8
PARAMETER top_p 0.9
PARAMETER top_k 50
PARAMETER num_ctx 8192
PARAMETER num_predict 2048

Команда імпорту:

ollama create rwkv-world-32b -f Modelfile.rwkv-world-32b

3. Falcon-11B (Instruct)¶

Файл: Modelfile.falcon-11b-instruct

FROM ./falcon-11b-instruct-q4_k_m.gguf

TEMPLATE """{{ if .System }}System: {{ .System }}

{{ end }}{{ if .Prompt }}User: {{ .Prompt }}

{{ end }}Assistant:"""

PARAMETER stop "User:"
PARAMETER stop "Assistant:"
PARAMETER stop "\n\nUser"
PARAMETER stop "<|endoftext|>"

PARAMETER temperature 0.7
PARAMETER top_p 0.9
PARAMETER top_k 40
PARAMETER num_ctx 2048
PARAMETER num_predict 2048

Команда імпорту:

ollama create falcon-11b-instruct -f Modelfile.falcon-11b-instruct

Використання¶

Спочатку конвертуйте моделі з HuggingFace в GGUF формат (див. скрипти конвертації)
Збережіть GGUF файли в поточній директорії
Оновіть шляхи до GGUF файлів у Modelfile (рядок FROM)
Виконайте команду ollama create для кожної моделі

Примітка: Параметри num_ctx, temperature, top_p, top_k можна налаштувати під ваші потреби.