راهنمای منتشرشده، LM Studio را برای اجرای مدل AI روی کامپیوتر شخصی معرفی میکند؛ مدلی که برنامههای دیگر هم بتوانند با آن ارتباط برقرار کنند. نویسنده میگوید کارهایی مانند مرور هفتگی وبسایت، خلاصهٔ خبرها و دستیار شخصیاش را با مدل محلی انجام میدهد و برای token هزینهای نمیپردازد. هدف کلی راهنما، رسیدن به اجرای یک script در Python است که سؤال بفرستد و پاسخ را چاپ کند؛ اما بخش موجود تا آغاز بررسی server از PowerShell پیش میرود.
نقطهٔ شروع، بررسی VRAM در Task Manager Windows است. مدل باید در حافظه جا بگیرد و طبق راهنما، وقتی در حافظهٔ اختصاصی GPU قرار بگیرد، بسیار سریعتر از حالتی اجرا میشود که به حافظهٔ معمولی سیستم نیاز دارد. پیشنهاد نویسنده این است که حجم دانلود مدل چند گیگابایت کمتر از VRAM باشد تا برای اجرای آن هم فضا باقی بماند. برای ۸ گیگابایت VRAM، مدل 7B یا 8B بهعنوان نقطهٔ شروع پیشنهاد شده است.
عدد همراه B، تعداد parameterهای مدل را برحسب میلیارد نشان میدهد. راهنما توضیح میدهد که parameter بیشتر معمولاً با توانایی بیشتر، دانلود حجیمتر و نیاز به حافظهٔ بیشتر همراه است. همچنین quantization حجم مدل را کاهش میدهد؛ برای نمونه، برچسب Q4_K_M یعنی هر parameter تقریباً در چهار بیت فشرده شده است. حجم دانلود و ارزیابی سختافزاری LM Studio به انتخاب مدل کمک میکنند.
برای این مسیر باید برنامهٔ اصلی LM Studio نصب شود، نه Bionic؛ برنامهٔ جداگانهای از همان تیم که بهصورت AI agent ساخته شده است. پس از دانلود مدل، ابتدا باید آن را در بخش Chat بارگذاری و با یک پیام کوتاه آزمایش کرد.
مرحلهٔ بعد، فعالکردن Developer mode در Settings و روشنکردن Local Server است. راهنما از اتصال OpenAI-compatible استفاده میکند؛ یعنی LM Studio درخواستهایی با ساختار سرویس OpenAI را میفهمد. آدرس server شامل localhost، بهمعنای همین کامپیوتر، و شمارهٔ port است. بررسی پاسخگویی server پیش از نوشتن برنامه، قدم بعدی این مسیر است.





