LongTail-SWE یک benchmark برای ارزیابی agentهای کدنویسی در زبان‌هایی است که در ارزیابی‌های رایج حل مسئله پوشش کمی دارند یا اصلاً پوشش ندارند. این مجموعه، ساخته تیم پشت SWE-rebench در Nebius، شامل ۲۰۲ مسئله واقعی از ۱۲۹ repository است. زبان‌های آن Clojure، Dart، Elixir، Erlang، F#، Haskell، Julia، Kotlin، Lua، OCaml، R، Scala و Swift هستند.
هر مسئله از یک issue در GitHub و pull request متناظر آن استخراج شده و محیط اجرایی و test دارد. ۹ پیکربندی model در چارچوب اجرایی یکسان و شبیه SWE-agent آزمایش شده‌اند؛ برای هر مسئله نیز سه تلاش انجام شده است. معیار Pass@1 میانگین موفقیت در همه تلاش‌هاست، نه صرفاً نتیجه تلاش نخست.
در نتایج کلی، Opus 5.5 high با Pass@1 برابر با ۸۱٫۵ درصد در صدر قرار دارد و GPT 6.1 Sol high با ۷۸٫۴ درصد دوم است. GLM-5.3-Flash max امتیاز ۴۸٫۲ درصد، Qwen 3.8 27B xhigh امتیاز ۴۲٫۷ درصد و Qwen 3.6 27B thinking امتیاز ۱۶٫۷ درصد گرفته‌اند. نتایج به زبان هم وابسته‌اند: برای نمونه، امتیاز Qwen 3.8 27B در R برابر با ۶۹ درصد و در OCaml برابر با ۲۸٫۲ درصد است.
ساخت مجموعه فقط به گردآوری مسئله‌ها محدود نبوده است. از ۳۲۶۱ نامزد اولیه، ۱۲۴۷ مورد بدون مشکل اجرا شدند و ۵۳۳ مورد پذیرش هر سه داور را گرفتند. در مرحله نهایی، مسئله‌هایی که Qwen 3.8 27B در هر سه اجرا حل کرده بود عموماً کنار گذاشته شدند؛ پس این model در انتخاب دشواری مجموعه هم نقش داشته است.
اصلاح testها بخش مهم دیگری از کار است. در ۶۳ مسئله که توضیحشان تغییر نکرد، همان Patchهای Opus 5.5 روی testهای اولیه Pass@1 برابر با ۲۹٫۱ درصد و روی testهای اصلاح‌شده ۶۷٫۲ درصد گرفتند. اصلاح‌ها شامل حذف بررسی‌های ردکننده راه‌حل‌های جایگزین معتبر و افزودن بررسی برای نیازمندی‌های جاافتاده بود.
برای موفق شمردن هر تلاش، همه testهای fail-to-pass و pass-to-pass باید قبول شوند. داده‌ها، promptها و ابزارهای ارزیابی در repository ارائه شده‌اند. بااین‌حال، چون مسئله‌ها و pull requestها عمومی هستند، سازندگان احتمال هم‌پوشانی با داده‌های آموزش modelها را رد نمی‌کنند.
