Води Твіттеру принесли досить непоганий гайд з запуску локальних LLM —

@oooneuro

COFFEE AI MEOW REPEAT По рекламі: @ad_kitty Інші питання: @neurokit Посилання для друзів: https://t.me/+bXCkQ_uagrozYzVi Навігація за хештегами: https://t.me/c/1591600888/2976 Монобаза: https://base.monobank.ua/EhJBDcb6zd52Ni

Води Твіттеру принесли досить непоганий гайд з запуску локальних LLM — ароматний друг розписав усі нюанси при використанні llama.cpp 😊

Там не тільки текстові рекомендації, а я корисні флаги для оптимізації: --fit on, --fit-ctx 65536, --fit-target 512 та інші.

Магії не чекайте, але витискати більше токенів/секунду зі свого заліза можна ☕️

ооо донат на збір (залишилося 72 520.33)

Води Твіттеру принесли досить непоганий гайд з запуску локальних LLM — ароматний друг розписав усі н

Ооо нейромережеве🐱