Apache Sourcelume؛ ثبت منشأ داده‌های آموزش مدل، بدون تضمین درستی ادعاها

چرا مهم است

اگر با مدل‌های زبانی کار می‌کنی، دانستن منشأ داده‌های آموزش و مجوزشان مهم است. Sourcelume این اطلاعات را به‌شکل قابل‌خواندن برای ماشین ثبت می‌کند، اما باید بدانی ثبت یک ادعا به معنی تأیید درستی آن نیست.

قبل از خواندن، این‌ها را بدان۵ مفهوم
token

واحدی که مدل زبانی متن را بر اساس آن پردازش می‌کند؛ بسته به روش تقسیم متن، می‌تواند یک حرف، بخشی از کلمه یا یک کلمه باشد.

بیشتر: token

Provenance

اطلاعاتی درباره منشأ داده یا یک خروجی، منابع سازنده آن و مسیری که تا وضعیت فعلی طی کرده است.

در حال نگارش: Provenance

metadata

اطلاعات توصیفی درباره داده، مانند منشأ، مجوز، زمان ثبت یا شناسه آن.

در حال نگارش: metadata

Registry

سامانه‌ای برای ثبت، نگهداری و بازیابی اطلاعات ساخت‌یافته با شناسه‌های مشخص.

در حال نگارش: Registry

pipeline

مجموعه‌ای از مرحله‌های مرتبط که برای انجام یک فرایند، مانند آماده‌سازی داده و آموزش مدل، اجرا می‌شوند.

در حال نگارش: pipeline

Apache Sourcelume می‌خواهد اطلاعات منشأ و مجوز داده‌های آموزش مدل را از توضیح‌های پراکنده به اطلاعات ساخت‌یافته و قابل بررسی تبدیل کند. این پروژه مرجع صدور گواهی نیست و درباره درست‌بودن ادعاهای مجوز تصمیم نمی‌گیرد؛ هدف فعلی آن ثبت و بازیابی ماشینی این ادعاها در قالبی مشترک است.

زیرساخت پروژه سه بخش دارد: مشخصات نسخه‌بندی‌شده metadata بر پایه JSON-LD برای توصیف منشأ، زنجیره نگهداری و مجوز داده؛ یک Registry مرجع بر پایه Apache Atlas که اطلاعات را از طریق REST API ارائه می‌کند؛ و ابزارهایی که مستندسازی داده را به بخشی از فرایند build تبدیل می‌کنند. شناسه‌های پایدار و ساختار مشترک قرار است امکان مراجعه، مقایسه و شمارش ادعاها را فراهم کنند، نه اینکه به‌خودی‌خود صحت آن‌ها را ثابت کنند.

در بخش داده، ساختار ProvenanceRecord با مجموعه آموزشی DFM Mímir و بر اساس جدول‌های گزارش آن بررسی شده است. برای مدل‌ها نیز ساختار دیگری با نام TrainingProvenanceRecord اضافه شده است. تولیدکننده مدل این اطلاعات را منتشر می‌کند و با شناسه‌های مرجع به مجموعه‌داده‌ها ارجاع می‌دهد؛ تعداد و سهم token‌ها نیز در آن می‌آید. میزان افشای اطلاعات می‌تواند complete،؜ partial یا undisclosed باشد.

نمونه عملی در repository با نام apache/sourcelume-sample،؜ یک مدل زبانی character-level با ۷۱٬۸۹۱ parameter را روی Alice's Adventures in Wonderland از Project Gutenberg آموزش می‌دهد. برنامه آموزش در همان اجرا، اطلاعات Provenance مدل را با ارجاع به شناسه IRI مجموعه‌داده ثبت می‌کند. تعداد و سهم token‌ها، مقدار loss و زمان ثبت از همان اجرای واقعی گرفته می‌شوند؛ بنابراین اطلاعات بعداً به‌صورت دستی بازسازی نمی‌شوند و ثبت آن‌ها در همان pipeline آموزش انجام می‌شود.

مرز فعلی پروژه مهم است: Sourcelume می‌تواند اطلاعات سپرده‌شده را نمایش دهد، اما هنوز بررسی نمی‌کند که آن اطلاعات حقیقت دارند یا نه. جامعه پروژه در حال کار روی هدف‌های انتشار اولیه است و قابلیت‌های attestation را هدف بعدی معرفی کرده؛ نحوه نمایش ادعاها و تأیید احتمالی آن‌ها همچنان موضوع مشارکت و گفت‌وگو است.

نکته کلیدی

ثبت را از تأیید صحت آن جدا بدان. نمونه Sourcelume نشان می‌دهد می‌توان اطلاعات منشأ داده را همان موقع آموزش ثبت کرد، نه اینکه بعداً دستی بازسازی‌اش کنی؛ با این حال درستی اطلاعات هنوز تأیید نمی‌شود.

خواندن مقاله اصلی (در زبانه‌ی جدید باز می‌شود)
برچسب‌ها (۱)