CrowdGPT؛ تلاش جمعی برای آموزش Crowd-v1 بدون datacenter

چرا مهم است

اگر به مشارکت در آموزش model علاقه داری، CrowdGPT فقط دنبال GPU نیست؛ داده، سازوکار آموزش و benchmark هم محل مشارکت‌اند. البته برای قضاوت دربارهٔ کیفیت model،؜ این گزارش هنوز نتیجهٔ مقایسه‌ای ارائه نمی‌کند.

قبل از خواندن، این‌ها را بدان۴ مفهوم
token

واحدی از متن که model پردازش می‌کند؛ ممکن است یک واژه، بخشی از واژه یا نشانه باشد.

بیشتر: token

benchmark

آزمون یا مجموعه‌آزمونی مشخص برای سنجش و مقایسهٔ عملکرد model یا سیستم.

بیشتر: benchmark

open-weight

وضعیتی که وزن‌های آموزش‌دیدهٔ model در دسترس قرار می‌گیرند؛ این دسترسی لزوماً به معنای انتشار داده‌ها یا کد آموزش نیست.

بیشتر: open-weight

parameter

مقداری در model که طی آموزش تنظیم می‌شود؛ تعداد آن‌ها یکی از معیارهای بیان اندازهٔ model است.

در حال نگارش: parameter

سازندهٔ CrowdGPT در گزارشی در r/LocalLLaMA،؜ پیشرفت پروژه‌ای را شرح داده که هدفش آموزش مشارکتی Crowd-v1 است؛ یک transformer با یک میلیارد parameter،؜ بدون استفاده از datacenter و با هدف هزینهٔ صفر دلار. پروژه می‌خواهد نشان دهد آموزش یک model زبانی بزرگ رقابتی لزوماً به مجموعه‌های عظیم GPU از Nvidia و میلیون‌ها دلار نیاز ندارد. این ادعا فعلاً هدف پروژه است، نه نتیجه‌ای اثبات‌شده.

معیار موفقیت اولیه، رسیدن به عملکردی برابر یا بالاتر از Qwen3-0.6B در benchmark‌هاست. در این گزارش نتیجه‌ای از مقایسهٔ دو model ارائه نشده است. سازنده می‌گوید اگر مشارکت‌کنندگان کافی جذب شوند، گام بعدی می‌تواند آموزش یک MoE با مشخصات 7B A1B یا حتی 30B A3B باشد؛ اندازهٔ model‌های آینده به میزان مشارکت جامعه بستگی دارد.

طبق گزارش سازنده، از زمان نوشتهٔ قبلی، ۸۵ مشارکت‌کننده در پروژه ثبت‌نام کرده‌اند و طی یک هفته آموزش روی ۱۳ میلیارد token انجام شده است. بااین‌حال، پروژه همچنان در حال توسعه است و برای بهبود سازوکار آموزش و dataset از دیگران کمک می‌خواهد.

CrowdGPT خود را کاملاً غیرانتفاعی و open-source معرفی می‌کند. هدف اعلام‌شده این است که جامعه به‌جای انتظار برای انتشار model‌های open-weight از سوی آزمایشگاه‌های چینی یا آمریکایی، خودش model بسازد. مشارکت هم به تأمین GPU محدود نیست: ارسال داده، آماده‌سازی داده، آموزش و اجرای benchmark هم بخشی از کار جمعی توصیف شده‌اند. داده‌های ارسالی، به‌گفتهٔ سازنده، در صورت ایمن‌بودن استفاده خواهند شد.

کد پروژه برای بررسی در GitHub قرار دارد و سازنده از Code Review،؜ ارسال pull request و بازخورد سازنده دربارهٔ ایرادهای پروژه استقبال کرده است. در وضعیت فعلی، خبر اصلی گزارش مشارکت و حجم آموزش است؛ برابری با Qwen3-0.6B و آموزش model‌های بزرگ‌تر هنوز در فهرست هدف‌ها قرار دارند.

نکته کلیدی

عدد ۱۳ میلیارد token را با رسیدن به کیفیت هدف یکی نگیر؛ این عدد حجم آموزش گزارش‌شده است. برای سنجش ادعای رقابت با Qwen3-0.6B،؜ منتظر نتیجهٔ benchmark بمان؛ در این گزارش چنین نتیجه‌ای وجود ندارد.

خواندن مقاله اصلی (در زبانه‌ی جدید باز می‌شود)
برچسب‌ها (۳)