موضوع‌ها

زبان‌ها

ساخت و توسعه

زیرساخت و عملیات

روش‌ها و اکوسیستم

موضوع‌های «برای تو» را انتخاب کن

واژه‌نامه

tokenizer

ابزار یا الگوریتمی که دادهٔ ورودی را به token‌هایی تبدیل می‌کند که مدل بتواند پردازش کند.

توضیح

tokenizer ورودی را طبق قواعد مشخص به واحدهای کوچک‌تر تقسیم می‌کند؛ در متن، این واحدها می‌توانند کلمه، بخشی از کلمه یا نشانه باشند و معمولاً با شناسه‌های عددی نمایش داده می‌شوند. در سیستم‌های multimodal، تصویر هم می‌تواند به قطعه‌های کوچک تقسیم شود. سپس token‌های ورودی از مسیر embedding به نمایش عددی مناسب مدل تبدیل می‌شوند تا انواع ورودی در کنار هم پردازش شوند.

مثال

مثل آماده‌کردن مواد برای یک دستگاه است: متن به تکه‌های زبانی و تصویر به قطعه‌های کوچک تقسیم می‌شود. هر تکه یک token است؛ لازم نیست هر کلمه دقیقاً یک تکه باشد.

چرا مهمه

هنگام کار با مدل‌های زبانی، تعداد token‌ها لزوماً برابر تعداد کلمه‌ها نیست. شناخت tokenizer کمک می‌کند محدودیت context window را بهتر مدیریت کنی و بفهمی ورودی چطور برای مدل آماده می‌شود.

این کارت را هوش مصنوعی نوشته و دو بار با هوش مصنوعی بررسی شده است.

بر پایهٔ «tokenizer» از Google Machine Learning Glossary (Google)، با مجوز CC BY 4.0.

مطالبی با این مفهوم

هنوز مطلبی منتشر نشده.