Tokenization
تقسیم متن به واحدهای کوچک‌تر به نام token؛ این واحدها می‌توانند کلمه، بخشی از کلمه یا یک حرف باشند.
این تعریف را هوش مصنوعی از روی مطالب فیدآپ نوشته است.
مطالبی با این مفهوم
- ai
پیش‌نیازهای فهم Transformer؛ از Tokenization تا Embedding
برای شناخت مدل‌های زبانی، ابتدا باید با کارهای NLP، روش‌های ارزیابی و نمایش عددی کلمه‌ها آشنا شد. این مطلب همین پایه‌ها را با مثال توضیح می‌دهد.