21 lines
386 B
Plaintext
21 lines
386 B
Plaintext
FROM ./qwen2.5-vl-32b-q4_k_m.gguf
|
|
|
|
TEMPLATE """{{ if .System }}System: {{ .System }}
|
|
|
|
{{ end }}{{ if .Prompt }}User: {{ .Prompt }}
|
|
|
|
{{ end }}Assistant:"""
|
|
|
|
PARAMETER stop "User:"
|
|
PARAMETER stop "Assistant:"
|
|
PARAMETER stop "<|im_end|>"
|
|
PARAMETER stop "<|endoftext|>"
|
|
|
|
PARAMETER temperature 0.7
|
|
PARAMETER top_p 0.9
|
|
PARAMETER top_k 40
|
|
PARAMETER num_ctx 131072
|
|
PARAMETER num_predict 4096
|
|
|
|
|