مقالهای جدید با عنوان "Sparks of Weight-Space Programming" نشان میدهد که مدلهای پیشرفتهای مانند GPT-6 Astra میتوانند وزنهای خام مدلهای machine learning را تحلیل و تغییر دهند. این مقاله توانایی مدلهایی مانند GPT-6 Astra را در تحلیل وزنهای neural networkها بدون ابزار و نیز تغییر وزنها با کمک کد بررسی میکند. به عنوان مثال، این مدلها میتوانند با تحلیل وزنها، عملکرد شبکه را شناسایی کرده و حتی بدون استفاده از حلقههای آموزشی، شبکههای کوچک برای انجام بازی ایجاد کنند که از شبکههای آموزشدیده با PPO بهتر عمل میکنند.
یکی از نکات برجسته این مقاله، معرفی اصطلاح "Weight-Space Programming" است که به توانایی مدلها در تحلیل و تغییر وزنهای neural networkها اشاره دارد. به عنوان مثال، مدل GPT-6 Astra توانست با تغییر 0.016% از وزنهای مدل Qwen3.5-0.8B، عملکرد آن را در آزمون MATH-500 از 7.9% به 48.1% بهبود بخشد.
در این میان، مدل Qwen 3.8 27B نیز توانسته است با استفاده از این روشها، وزنهای مدلهای مختلف را تحلیل کند. این مدل توانست با تحلیل وزنهای بازیهای کلاسیک مانند Breakout و Pong، بازی مربوطه را شناسایی کند. این تواناییها نشاندهنده پیشرفتهای قابل توجه در حوزه machine learning و توانایی مدلها در تحلیل و تغییر وزنهای neural networkها است.


