FROM ./falcon-11b-instruct-q4_k_m.gguf

TEMPLATE """{{ if .System }}System: {{ .System }}

{{ end }}{{ if .Prompt }}User: {{ .Prompt }}

{{ end }}Assistant:"""

PARAMETER stop "User:"
PARAMETER stop "Assistant:"
PARAMETER stop "\n\nUser"
PARAMETER stop "<|endoftext|>"

PARAMETER temperature 0.7
PARAMETER top_p 0.9
PARAMETER top_k 40
PARAMETER num_ctx 2048
PARAMETER num_predict 2048