token

توضیح

متن پیش از ورود به language model به دنباله‌ای از token‌ها تبدیل می‌شود؛ مدل هنگام آموزش الگوهای این دنباله‌ها را یاد می‌گیرد و هنگام تولید متن، token بعدی را پیش‌بینی می‌کند. هر token ممکن است یک کلمه، بخشی از کلمه یا یک character باشد؛ فاصله‌ها هم می‌توانند در این تقسیم‌بندی نقش داشته باشند. بنابراین تعداد token‌ها لزوماً برابر تعداد کلمه‌ها نیست و به روش تقسیم متن بستگی دارد. در کاربردهای غیرمتنی هم token می‌تواند واحدی مثل بخشی از تصویر باشد.

مثال

متن را مثل چیزی تصور کن که قبل از پردازش به قطعه‌ها بریده می‌شود. مثلاً یک مدل ممکن است dogs را به دو token یعنی dog و s تقسیم کند، اما مدلی دیگر کل dogs را یک token بگیرد.

چرا مهمه

هنگام کار با language model، ظرفیت context window و گاهی هزینهٔ API برحسب token سنجیده می‌شود. شناخت آن کمک می‌کند اندازهٔ ورودی و خروجی را درست برآورد کنی، نه اینکه فقط کلمه‌ها را بشماری.

مفهوم‌های مرتبط

• Natural Language Processing
• Context Window
• Embedding