attention
سازوکاری در neural network که برای ساخت خروجی، به بخش‌های مرتبط‌تر ورودی وزن بیشتری می‌دهد.
توضیح
برای هر خروجی، مدل میزان ارتباط بخش‌های ورودی را محاسبه می‌کند و به آن‌ها وزن می‌دهد. سپس معمولاً با جمع وزن‌دارِ نمایش‌های ورودی، اطلاعات موردنیاز را ترکیب می‌کند؛ در مدل زبانی، این بخش‌ها می‌توانند tokenهای متن باشند. وزن‌ها با توجه به ورودی و موقعیت تغییر می‌کنند، نه اینکه هر کلمه همیشه اهمیت ثابتی داشته باشد. شکل‌های self-attention و multi-head self-attention از اجزای اصلی Transformer هستند.
مثال
مثل وقتی است که در یک دستور آشپزی دنبال زمان پخت می‌گردی: عبارت «۲۰ دقیقه» برای این پرسش مهم‌تر از نام ظرف است. اگر پرسش دربارهٔ ظرف باشد، بخش دیگری از همان متن اهمیت بیشتری پیدا می‌کند.
چرا مهمه
هنگام کار با مدل‌های زبانی و پردازش متن با آن روبه‌رو می‌شوی. شناختش کمک می‌کند بفهمی مدل چطور ارتباط میان tokenها را در نظر می‌گیرد و چرا بخش‌های مختلف متن اثر یکسانی بر خروجی ندارند.
مفهوم‌های مرتبط
این کارت را هوش مصنوعی نوشته و دو بار با هوش مصنوعی بررسی شده است.
بر پایهٔ «attention» از Google Machine Learning Glossary (Google)، با مجوز CC BY 4.0.
مطالبی با این مفهوم
هنوز مطلبی منتشر نشده.