Pass@1
معیاری برای سنجش موفقیت در یک تلاش. در این ارزیابی، مقدار گزارش‌شده میانگین موفقیت روی همه تلاش‌های انجام‌شده است.
این تعریف را هوش مصنوعی از روی مطالب فیدآپ نوشته است.
مطالبی با این مفهوم
- LongTail-SWE
LongTail-SWE؛ سنجش agentهای کدنویسی با ۲۰۲ مسئله در ۱۳ زبان کم‌نماینده
benchmark جدید LongTail-SWE توانایی agentهای کدنویسی را در حل مسئله‌های واقعی ۱۳ زبان می‌سنجد. در این ارزیابی، GLM-5.3-Flash، Qwen 3.8 27B و Qwen 3.6 27B به‌ترتیب Pass@1 برابر با ۴۸٫۲، ۴۲٫۷ و ۱۶٫۷ درصد داشتند.