موضوع‌ها

زبان‌ها

ساخت و توسعه

زیرساخت و عملیات

روش‌ها و اکوسیستم

موضوع‌های «برای تو» را انتخاب کن

واژه‌نامه

token

واحد پایه‌ای که یک language model متن را در قالب آن پردازش می‌کند و پیش‌بینی می‌کند.

توضیح

متن پیش از ورود به language model به دنباله‌ای از token‌ها تبدیل می‌شود؛ مدل هنگام آموزش الگوهای این دنباله‌ها را یاد می‌گیرد و هنگام تولید متن، token بعدی را پیش‌بینی می‌کند. هر token ممکن است یک کلمه، بخشی از کلمه یا یک character باشد؛ فاصله‌ها هم می‌توانند در این تقسیم‌بندی نقش داشته باشند. بنابراین تعداد token‌ها لزوماً برابر تعداد کلمه‌ها نیست و به روش تقسیم متن بستگی دارد. در کاربردهای غیرمتنی هم token می‌تواند واحدی مثل بخشی از تصویر باشد.

مثال

متن را مثل چیزی تصور کن که قبل از پردازش به قطعه‌ها بریده می‌شود. مثلاً یک مدل ممکن است dogs را به دو token یعنی dog و s تقسیم کند، اما مدلی دیگر کل dogs را یک token بگیرد.

چرا مهم است

هنگام کار با language model،؜ ظرفیت context window و گاهی هزینهٔ API برحسب token سنجیده می‌شود. شناخت آن کمک می‌کند اندازهٔ ورودی و خروجی را درست برآورد کنی، نه اینکه فقط کلمه‌ها را بشماری.

این کارت را هوش مصنوعی نوشته و دو بار با هوش مصنوعی بررسی شده است.

بر پایهٔ «token» از Google Machine Learning Glossary (Google)، با مجوز CC BY 4.0.

مطالبی با این مفهوم

  1. n8n

    Gemini 4 Carbon در n8n تمرکز بر امنیت و کارهای چندمرحله‌ای

    Gemini 4 Carbon در n8n در دسترس است. این مدل بنا بر نتایج منتشرشده توسط Google،؜ بر کارهای طولانی، امنیت و مقاومت در برابر prompt injection تمرکز دارد؛ بااین‌حال، همچنان به تدابیر امنیتی نیاز است.

    ۵ مفهومblog.n8n.io

  2. Apache Projects

    Apache Sourcelume ثبت منشأ داده‌های آموزش مدل، بدون تضمین درستی ادعاها

    Apache Sourcelume با یک مدل کوچک نشان می‌دهد چگونه می‌توان اطلاعات منشأ داده‌های آموزش را در همان اجرای آموزش ثبت کرد. این پروژه فعلاً اطلاعات ثبت‌شده را در اختیار ماشین‌ها می‌گذارد، اما درستی آن‌ها را تأیید نمی‌کند.

    ۵ مفهومnews.apache.org

  3. Databases

    DuckDB 2.0 راه‌اندازی server با Quack و اتصال از Java

    DuckDB 2.0 با Protocol موسوم به Quack امکان اجرای query از راه دور را فراهم می‌کند. این آموزش مسیر راه‌اندازی server،؜ اتصال، خواندن اولین نتیجه و استفاده از همین اتصال در Java را نشان می‌دهد.

    ۴ مفهومfoojay.io

  4. ai

    UUID در prompt هزینه‌ای ۴٫۸ برابر شماره‌های ۱ تا ۵۰ در یک آزمایش

    در آزمایشی با فهرست ۵۰ محصول، استفاده از UUID به‌جای شماره‌های ساده هزینهٔ فراخوانی LLM را ۴٫۸ برابر کرد. نویسنده پیشنهاد می‌کند شناسه‌های واقعی در برنامه بمانند و مدل فقط شمارهٔ هر مورد را برگرداند.

    ۴ مفهومdev.to

  5. CrowdGPT

    CrowdGPT تلاش جمعی برای آموزش Crowd-v1 بدون datacenter

    پروژهٔ CrowdGPT می‌خواهد یک model با یک میلیارد parameter را به‌صورت مشارکتی آموزش دهد. به‌گفتهٔ سازنده، ۸۵ مشارکت‌کننده ثبت‌نام کرده‌اند و طی یک هفته، آموزش روی ۱۳ میلیارد token انجام شده است.

    ۴ مفهومreddit.com