utilization
سهمی از زمان که یک منبع مانند GPU واقعاً مشغول انجام کار مفید است.
این تعریف را هوش مصنوعی از روی مطالب فیدآپ نوشته است.
مطالبی با این مفهوم
- LLM Inference
هزینه واقعی inference: اجاره GPU چه زمانی از API ارزان‌تر است؟
مقایسه DigitalOcean نشان می‌دهد هزینه inference فقط به قیمت GPU بستگی ندارد؛ میزان استفاده، سرعت پاسخ هر کاربر و نسبت token ورودی به خروجی هم تعیین‌کننده‌اند.