inference

توضیح

در machine learning، ورودی بدون برچسب به model آموزش‌دیده داده می‌شود تا بر اساس الگوهایی که یاد گرفته، خروجی را پیش‌بینی کند. در LLM، همین فرایند با دریافت prompt و تولید پاسخ انجام می‌شود. برخلاف training، هدف این مرحله یادگیری از داده‌ها و تغییر پارامترها نیست، بلکه استفاده از توانایی‌های آموخته‌شده است.

مثال

یاد گرفتن تشخیص میوه‌ها با دیدن نمونه‌های مختلف شبیه training است؛ تشخیص اینکه میوهٔ داخل یک عکس تازه سیب است، شبیه inference است.

چرا مهمه

وقتی قابلیت تشخیص تصویر، پیش‌بینی یا تولید متن را به برنامه اضافه می‌کنی، با inference سروکار داری. زمان اجرا و منابع مصرفی آن روی سرعت پاسخ‌گویی و هزینهٔ برنامه اثر می‌گذارند.

مفهوم‌های مرتبط

• Inference Engine
• On-Device Inference
• Latency
• Prompt Engineering