سازندهٔ Silencio-2، یک fine-tune کوچک از Pocket TTS متعلق به Kyutai، تجربهٔ اصلاح tagهای احساسی با ویرایش مستقیم وزن‌ها را منتشر کرده است. این model از tagهایی مثل <sad> و <whisper> و نشانه‌های صوتی مثل [laugh] پشتیبانی می‌کند، اما دادهٔ tagدار کافی برای رفتار پایدار نداشته است. <happy> کار می‌کرد، ولی <whisper> فقط در حدود یک مورد از هر پنج خروجی واقعاً به نجوا منجر می‌شد.
او به‌جای جمع‌آوری دادهٔ بیشتر، سراغ Weight-Space Programming رفت: یک LLM agent وزن‌ها را بررسی می‌کند، علت مشکل را می‌جوید و تغییر را تنها در صورت بهبود روی Held-out Set نگه می‌دارد. در این آزمایش، Claude (Opus 5.5) ابزارهای بررسی را نوشت، آزمایش‌ها را اجرا کرد و تغییر وزن‌ها را ساخت؛ سازنده هم مسیر کار را هدایت و خروجی‌ها را گوش کرد.
بررسی‌ها نشان داد Embeddingهای tag هنوز با واژه‌های اولیه‌شان ۶۰ تا ۸۰ درصد Cosine Similarity دارند. تفاوت مهم در Attention بود: frameهای صوتی به <happy> بین ۱۰۰ تا ۳۰۰۰ برابر یک token متنی معمولی توجه می‌کردند، اما برای tagهای دیگر این نسبت فقط ۱ تا ۱۰ برابر بود. تقویت ۳۰برابری Attention به <whisper> هنگام inference، در ۶۲ درصد خروجی‌ها نجوا با کلمات واضح ایجاد کرد؛ تقویت ۱۰۰برابری گفتار را خراب کرد.
تغییر نهایی، افزودن یک عبارت rank-1 به W_K در هر لایه بود؛ ترکیبی از تشخیص token مربوط به tag و جابه‌جایی key برای افزایش Attention. حدود ۵۲۴ هزار وزن، معادل ۳٫۴ درصد transformer، تغییر کرد، اما فقط حدود ۵ هزار parameter آزاد وجود داشت و هیچ گام gradient اجرا نشد. <happy> و tagهای صوتی دست‌نخورده ماندند.
در آزمونی با عبارت‌ها، seedها و دو صدای دیده‌نشده، تعداد خروجی‌های واقعاً نجواشده از ۵ مورد در ۲۴ به ۲۲ رسید؛ ولی نجوا با کلمات واضح فقط از ۵ به ۱۰ مورد افزایش یافت. امتیاز تفکیک هفت دستهٔ احساسی از ۰٫۴۵ به ۰٫۷۱ رسید و Word Error Rate گفتار بدون tag روی ۰٫۰۰۶ ماند.
نویسنده تأکید می‌کند این ارتقای پایداری نیست: بعضی خروجی‌ها تغییر ناگهانی زیر‌وبمی یا لحن دارند، برخی نجواها کلمات را نامفهوم می‌کنند و یک نمونه از ۲۴ نمونه به زمزمهٔ نامفهوم فروپاشید. معیارها نیز غیرمستقیم‌اند و قضاوت شنیداری همچنان ضروری است. نتیجهٔ پیشنهادی او محدود است: وقتی یک control token تا حدی آموخته شده اما نامطمئن است، پیش از افزودن داده، Attention را بررسی کن.
