Transformer
نوعی معماری neural network که با self-attention، ارتباط میان اجزای یک دنباله را در پردازش آن به کار می‌گیرد.
توضیح
ورودی به شکل دنباله‌ای از embeddingها وارد لایه‌های مدل می‌شود. در هر لایه، self-attention برای هر جزء مشخص می‌کند اطلاعات کدام بخش‌های مجاز دنباله با چه وزنی ترکیب شود؛ سپس این اطلاعات پردازش می‌شود تا embedding تازه‌ای ساخته شود. این معماری برای پردازش دنباله به convolution یا recurrent neural network وابسته نیست و می‌تواند فقط encoder، فقط decoder یا هر دو را داشته باشد.
مثال
در جملهٔ «سارا کتاب را برداشت و آن را خواند»، برای فهمیدن «آن» باید به «کتاب» توجه کرد. self-attention شبیه سازوکاری است که هنگام پردازش هر واژه، اطلاعات واژه‌های مرتبط را با وزن بیشتری وارد محاسبه می‌کند.
چرا مهمه
هنگام کار با مدل‌های زبانی و ابزارهای پردازش متن با این معماری روبه‌رو می‌شوی. شناخت آن کمک می‌کند بفهمی مدل چطور از ارتباط میان بخش‌های ورودی برای ساخت خروجی استفاده می‌کند.
مفهوم‌های مرتبط
این کارت را هوش مصنوعی نوشته و دو بار با هوش مصنوعی بررسی شده است.
بر پایهٔ «Transformer» از Google Machine Learning Glossary (Google)، با مجوز CC BY 4.0.
مطالبی با این مفهوم
هنوز مطلبی منتشر نشده.