#Local LLM

مدل باز را روی همان سیستمی که دارید اجرا کنید، حتی با گرافیک یکپارچه

قاعده‌ای که تعیین می‌کنه کدوم مدل روی دستگاه شما بالا میاد حافظه‌ست، نه برند کارت گرافیک. حساب کردن اندازه‌ی مدل، انتخاب کوانتیزیشن، تنظیم context و کارهایی که هنوز باید به مدل‌های میزبانی‌شده بسپارید.