اجرای مدل AI روی کامپیوتر شخصی با LM Studio؛ مقدمات اتصال از Python

چرا مهم است

اگر می‌خواهی مدل AI را روی کامپیوتر خودت اجرا کنی، این راهنما انتخاب مدل را به حافظهٔ دستگاه پیوند می‌دهد. همچنین نشان می‌دهد چطور مدلِ داخل LM Studio را برای ارتباط با برنامه‌های دیگر آماده کنی.

قبل از خواندن، این‌ها را بدان۵ مفهوم
VRAM

حافظهٔ اختصاصی GPU که داده‌های موردنیاز پردازش را نگه می‌دارد؛ جاگرفتن مدل در آن برای سرعت اجرای مدل اهمیت دارد.

بیشتر درباره این مفهوم

parameter

مقداری عددی که مدل هنگام آموزش یاد می‌گیرد و برای تولید پاسخ از آن استفاده می‌کند.

بیشتر درباره این مفهوم

quantization

روشی برای نمایش مقدارهای عددی مدل با بیت‌های کمتر که حجم مدل و حافظهٔ موردنیاز آن را کاهش می‌دهد.

بیشتر درباره این مفهوم

نمایش همه (۵)
localhost

نامی برای اشاره به همان کامپیوتری که برنامه روی آن اجرا می‌شود؛ برنامه می‌تواند از این طریق با server روی همان دستگاه ارتباط بگیرد.

بیشتر درباره این مفهوم

AI agent

سیستمی مبتنی بر AI که برای انجام کارها از طرف کاربر طراحی می‌شود.

بیشتر درباره این مفهوم

راهنمای منتشرشده، LM Studio را برای اجرای مدل AI روی کامپیوتر شخصی معرفی می‌کند؛ مدلی که برنامه‌های دیگر هم بتوانند با آن ارتباط برقرار کنند. نویسنده می‌گوید کارهایی مانند مرور هفتگی وب‌سایت، خلاصهٔ خبرها و دستیار شخصی‌اش را با مدل محلی انجام می‌دهد و برای token هزینه‌ای نمی‌پردازد. هدف کلی راهنما، رسیدن به اجرای یک script در Python است که سؤال بفرستد و پاسخ را چاپ کند؛ اما بخش موجود تا آغاز بررسی server از PowerShell پیش می‌رود.

نقطهٔ شروع، بررسی VRAM در Task Manager Windows است. مدل باید در حافظه جا بگیرد و طبق راهنما، وقتی در حافظهٔ اختصاصی GPU قرار بگیرد، بسیار سریع‌تر از حالتی اجرا می‌شود که به حافظهٔ معمولی سیستم نیاز دارد. پیشنهاد نویسنده این است که حجم دانلود مدل چند گیگابایت کمتر از VRAM باشد تا برای اجرای آن هم فضا باقی بماند. برای ۸ گیگابایت VRAM،؜ مدل 7B یا 8B به‌عنوان نقطهٔ شروع پیشنهاد شده است.

عدد همراه B،؜ تعداد parameter‌های مدل را برحسب میلیارد نشان می‌دهد. راهنما توضیح می‌دهد که parameter بیشتر معمولاً با توانایی بیشتر، دانلود حجیم‌تر و نیاز به حافظهٔ بیشتر همراه است. همچنین quantization حجم مدل را کاهش می‌دهد؛ برای نمونه، برچسب Q4_K_M یعنی هر parameter تقریباً در چهار بیت فشرده شده است. حجم دانلود و ارزیابی سخت‌افزاری LM Studio به انتخاب مدل کمک می‌کنند.

برای این مسیر باید برنامهٔ اصلی LM Studio نصب شود، نه Bionic؛ برنامهٔ جداگانه‌ای از همان تیم که به‌صورت AI agent ساخته شده است. پس از دانلود مدل، ابتدا باید آن را در بخش Chat بارگذاری و با یک پیام کوتاه آزمایش کرد.

مرحلهٔ بعد، فعال‌کردن Developer mode در Settings و روشن‌کردن Local Server است. راهنما از اتصال OpenAI-compatible استفاده می‌کند؛ یعنی LM Studio درخواست‌هایی با ساختار سرویس OpenAI را می‌فهمد. آدرس server شامل localhost،؜ به‌معنای همین کامپیوتر، و شمارهٔ port است. بررسی پاسخ‌گویی server پیش از نوشتن برنامه، قدم بعدی این مسیر است.

نکته کلیدی

پیش از دانلود مدل، مقدار VRAM و حجم دانلود را بررسی کن؛ صرفاً به عدد B تکیه نکن. بعد از دریافت پاسخ در Chat،؜ local server را روشن کن و پیش از نوشتن برنامه، پاسخ‌گویی آن را بررسی کن.

خواندن مقاله اصلی (در زبانه‌ی جدید باز می‌شود)
برچسب‌ها (۴)