Google سه پروژه زیرساخت AI agent را به CNCF واگذار می‌کند؛ Agent Substrate به 1.0 رسید

چرا مهم است

اگر AI agent روی Kubernetes اجرا می‌کنی، زمان انتظار هم می‌تواند CPU و حافظه را درگیر نگه دارد. این خبر رویکردی برای جداکردن وضعیت از منابع اجرا و جداسازی کد نامطمئن معرفی می‌کند.

قبل از خواندن، این‌ها را بدان۴ مفهوم
AI agent

سامانه‌ای مبتنی بر AI که برای انجام کار، ابزار فرا می‌خواند یا کد اجرا می‌کند و نتیجه را در تصمیم بعدی به کار می‌گیرد.

بیشتر درباره این مفهوم

Snapshot

ثبت وضعیت یک محیط در لحظه‌ای مشخص، برای بازیابی و ادامه کار از همان وضعیت.

بیشتر درباره این مفهوم

System Call

درخواستی که برنامه برای دریافت خدماتی مانند دسترسی به فایل، شبکه یا حافظه به kernel می‌فرستد.

بیشتر درباره این مفهوم

Reinforcement Learning

روش آموزش مدل با استفاده از پاداش حاصل از اقدام‌ها، با هدف یادگیری رفتار مناسب برای انجام یک کار.

بیشتر درباره این مفهوم

Google اعلام کرد سه پروژه open source به نام‌های Agent Substrate،؜ gVisor و OpenRL را به CNCF واگذار می‌کند. این پروژه‌ها ماه گذشته در CNCF Sandbox پذیرفته شده‌اند و اکنون مراحل ورود با مشارکت نگه‌دارنده‌های جامعه و زیرساخت مستقل build را طی می‌کنند. gVisor نیز در مسیر Incubation قرار دارد. هم‌زمان، Agent Substrate به نسخه 1.0 رسیده و به‌صورت عمومی با نام Agent Substrate on GKE عرضه شده است.

موضوع اصلی این مجموعه، اجرای AI agent‌هایی است که در یک چرخه مداوم، کد اجرا می‌کنند، ابزار فرا می‌خوانند و منتظر پاسخ مدل یا انسان می‌مانند. اختصاص یک Pod دائمی به هر AI agent،؜ حتی هنگام انتظار، حافظه و CPU را درگیر نگه می‌دارد. Agent Substrate وضعیت و هویت AI agent را از منابع اجرای آن جدا می‌کند تا هنگام توقف، منابع آزاد شوند.

در این معماری، Actor حافظه، فایل‌ها و هویت را نگه می‌دارد؛ Worker محیط اجرای قابل‌استفاده مجدد از یک pool آماده در Kubernetes است؛ و Gateway دسترسی ورودی و خروجی را کنترل می‌کند و براساس هویت Actor،؜ secret تزریق می‌کند. هنگام انتظار، از حافظه و فایل‌ها Snapshot گرفته می‌شود و Worker به pool برمی‌گردد. درخواست بعدی می‌تواند همان وضعیت را روی Worker دیگری در کمتر از ۵۰۰ میلی‌ثانیه بازیابی کند. Google می‌گوید این پروژه تراکمی ۱۰ برابر runtime‌های استاندارد container و بیش از ۵۰۰ عملیات توقف و ازسرگیری در ثانیه را پشتیبانی می‌کند.

بخش جداسازی کد نامطمئن بر عهده gVisor است؛ یک application kernel سبک نوشته‌شده با Go که System Call‌ها را در userspace دریافت و پردازش می‌کند تا کد مستقیماً با kernel میزبان ارتباط نگیرد. این پروژه از GPU،؜ TPU و checkpoint/restore پشتیبانی می‌کند و به nested virtualization نیاز ندارد. Agent Substrate همچنین امکان انتخاب Cloud Hypervisor microVM را برای مرز جداسازی فراهم می‌کند.

نقش OpenRL،؜ هماهنگ‌کردن چرخه‌های self-hosted پس‌آموزش با Reinforcement Learning در Python روی Kubernetes است. این مجموعه برای اجرا روی cluster‌های Kubernetes در cloud‌های مختلف و با CPU،؜ GPU یا TPU معرفی شده است؛ Agent Substrate نیز هم به‌شکل مدیریت‌شده روی GKE و هم از طریق کد open source قابل deploy است.

نکته کلیدی

برای فهم این معماری، نگهداری وضعیت و هویت را از اجرای کد جدا ببین. به یاد داشته باش که در Agent Substrate،؜ وضعیت هنگام انتظار ذخیره می‌شود و ادامه اجرا لزوماً روی همان Worker نیست.

خواندن مقاله اصلی (در زبانه‌ی جدید باز می‌شود)
برچسب‌ها (۳)