پشت پاسخ‌های ابزارهایی مثل ChatGPT، Gemini و Claude، مسئله‌ای بنیادی قرار دارد: کامپیوتر چگونه با زبان انسان کار می‌کند؟ منبع، Transformer را از فناوری‌های اصلی Generative AI معرفی می‌کند، اما بخش موجود از مطلب بر پیش‌نیازهای آن تمرکز دارد و هنوز به توضیح سازوکار Transformer نمی‌رسد.
نقطهٔ شروع، Natural Language Processing یا NLP است؛ حوزه‌ای از AI برای کار با زبان انسان و شناسایی الگوهای آن. کاربردهایش فقط تولید متن نیست. تشخیص spam و تشخیص مثبت یا منفی بودن نظرها، نمونه‌های Classification هستند. شناسایی نام فرد، سازمان، مکان و تاریخ در جمله، Named Entity Recognition نام دارد. تعیین نقش دستوری کلمه‌ها نیز Part-of-Speech Tagging است. ترجمه، خلاصه‌سازی، پاسخ به پرسش و تولید code هم در میان کاربردهای تولید محتوا قرار می‌گیرند.
برای ارزیابی این کارها، یک عدد همیشه کافی نیست. منبع مثالی از هزار نفر می‌آورد که فقط یکی از آن‌ها بیمار است: مدلی که همه را سالم اعلام کند، Accuracy برابر با ۹۹٫۹ درصد دارد، اما همان فرد بیمار را پیدا نمی‌کند. Precision نشان می‌دهد چه سهمی از موارد مثبتِ اعلام‌شده واقعاً مثبت‌اند؛ Recall نشان می‌دهد چه سهمی از کل موارد مثبت شناسایی شده‌اند. F1-Score این دو را ترکیب می‌کند. BLEU برای مقایسهٔ ترجمه با متن مرجع و ROUGE برای سنجش هم‌پوشانی خلاصه با مرجع به کار می‌روند.
گام بعدی، Tokenization است: متن به واحدهای کوچک‌تری به نام token تقسیم می‌شود. هر token لزوماً یک کلمهٔ کامل نیست؛ ممکن است یک حرف یا بخشی از کلمه باشد. روش‌های subword مانند Byte Pair Encoding و WordPiece، کلمه‌ها را به بخش‌های کوچک‌ترِ قابل استفادهٔ مجدد تقسیم می‌کنند تا میان اندازهٔ واژگان و طول توالی تعادل برقرار شود. سپس tokenها به شناسه‌های عددی نگاشت می‌شوند.
اما شناسهٔ عددی به‌تنهایی رابطهٔ معنایی را نشان نمی‌دهد. در One-Hot Encoding هر کلمه نمایش جداگانه‌ای دارد، بدون اینکه نزدیکی معنایی کلمه‌ها مشخص شود. در مقابل، Word2Vec نمایش‌های معنادار یا Embedding را از الگوی حضور کلمه‌ها در جمله یاد می‌گیرد. منبع در توضیح روش CBOW می‌گوید که مدل با استفاده از کلمه‌های اطراف، کلمهٔ هدف را پیش‌بینی می‌کند.
