امروز، آمازون کلادواچ (Amazon CloudWatch) از سرویس کلادواچ امنی (CloudWatch Omni) رونمایی کرد؛ یک تجربه مشاهده یکپارچه برای برنامهها و بارهای کاری هوش مصنوعی که محوریت آن بر پایه اپلیکیشن است، از هوش مصنوعی قدرت میگیرد، بر اساس استانداردهای باز ساخته شده و خارج از کنسول ارائه میشود. سرویس کلادواچ امنی (CloudWatch Omni) یک راهکار مشاهده، ارزیابی و آزمایش اختصاصی برای ایجنتهای هوش مصنوعی است. این سرویس به تیمها کمک میکند تا ایجنتهای هوش مصنوعی را در هر ارائهدهنده مدل، فریمورک یا محیط اجرایی، با یک گردش کار مبتنی بر ارزیابی، پشتیبانی از ابزارهای مورد استفاده فعلی شما و قابلیت مشاهده در محیط کاری خود طراحی، ارزیابی و اجرا کنند: مستقیماً در محیط توسعه (IDE) و از طریق یک تجربه وب مستقل، جدا از کنسول مدیریت آمازون وب سرویس (AWS Management Console).
سازمانهایی که سیستمهای هوش مصنوعی ایجنتمحور را مستقر میکنند با چالشهای قابلیت مشاهده مواجه هستند که نظارت سنتی قادر به حل آنها نیست. رفتار ایجنت غیرقطعی (non-deterministic) است: تغییر پرامپت میتواند کیفیت پاسخ را کاهش دهد حتی زمانی که معیارهای استاندارد هیچ خطایی را نشان نمیدهند. تیمها ساعتها وقت خود را صرف بررسی دستی لاگها در چندین سیستم میکنند، در حالی که قادر به مشخص کردن تغییرات یا دلایل آن نیستند. ابزارهای موجود تیمها را مجبور میکنند که بین نظارت مجزای هوش مصنوعی مولد یا راهکارهای تکهتکه شده که نیازمند جابجایی مداوم بین محیط کدنویسی و داشبوردهای مبتنی بر مرورگر است، یکی را انتخاب کنند.
سرویس کلادواچ امنی (CloudWatch Omni) هر تریس (trace) را ثبت میکند و شامل ارزیابهای داخلی برای صحت، انسجام، کیفیت بازیابی و انتخاب ابزار، در میان موارد دیگر است. شما میتوانید نسخههای پرامپت را به صورت پهلو به پهلو در محیط آزمایش (playground) مقایسه کنید، مجموعهدادههای آزمایشی را از ترافیک پروداکشن بسازید، آزمایشهایی را در پیکربندیهای مختلف اجرا کنید و افت کیفیت (regressions) را به طور خودکار شناسایی کنید.
دو سطح برای توسعه و بهرهبرداری
سرویس کلادواچ امنی (CloudWatch Omni) قابلیت مشاهده را از طریق دو سطح مکمل ارائه میدهد. توسعهدهندگان یک افزونه بومی در داخل ویاس کدهای (VS Code) و کیرو (Kiro) (محیطهای توسعه پشتیبانیشده فعلی) دریافت میکنند، جایی که تریسها با اجرای ایجنت شما به همراه یک محیط آزمایش و ارزیابها با یک کلیک ظاهر میشوند. اپراتورها یک تجربه وب مستقل، جدا از کنسول مدیریت آمازون وب سرویس (AWS Management Console) برای نظارت بر ناوگان دریافت میکنند که از طریق احراز هویت تکمرحلهای (SSO) بدون نیاز به کنسول آمازون وب سرویس (AWS) قابل دسترسی است. هر دو سطح دادههای یکسانی را به اشتراک میگذارند: تریسی که یک توسعهدهنده آن را دیباگ میکند، همان تریسی است که یک اپراتور آن را بررسی میکند.
ویژگی ورود به کلاد (Cloud Login) محیط توسعه محلی شما را به حساب آمازون وب سرویس (AWS) شما متصل میکند و به شما امکان میدهد دادههای تلهمتری را برای ذخیرهسازی مداوم به آمازون کلادواچ (Amazon CloudWatch) ارسال کنید، تریسها را با تیم خود به اشتراک بگذارید و به داشبوردهای پروداکشن دسترسی داشته باشید. این اتصال اختیاری است. شما میتوانید از کلادواچ امنی (CloudWatch Omni) به صورت کاملاً محلی در طول توسعه استفاده کنید، سپس زمانی که آماده نظارت بر ایجنتها در پروداکشن هستید، به کلاد متصل شوید.
شروع کار
سرویس کلادواچ امنی (CloudWatch Omni) دو روش برای شروع کار ارائه میدهد: از طریق افزونه محیط توسعه (برای ویاس کد (VS Code) و کیرو (Kiro)) یا مستقیماً از طریق تجربه ابری، جایی که میتوانید بدون نصب هیچگونه افزونه محیط توسعه، ارسال دادههای تلهمتری به کلادواچ (CloudWatch) را آغاز کنید. در این راهنما، من افزونه را نصب میکنم، یک ایجنت ایجاد میکنم، آن را اجرا میکنم و تریسها و ابزارهای ارزیابی را از محیط توسعه خود بررسی میکنم.
پس از نصب افزونه کلادواچ امنی (CloudWatch Omni) از مارکتپیس ویاس کد (VS Code Marketplace)، آیکون کلادواچ امنی (CloudWatch Omni) در نوار فعالیت (Activity Bar) ظاهر میشود. از صفحه خوشآمدگویی، گزینه شروع کار با پروژه نمونه (Get started with Sample Project) را انتخاب کردم تا یک ایجنت از پیش پیکربندی شده با دادههای تریس نمونه بارگذاری شود یا از میانبر پالت فرمان با استفاده از Command + Shift + P (در مکاوش) یا Ctrl + Shift + P (در ویندوز/لینوکس) استفاده کرده و گزینه Omni: Create a new Project را انتخاب کنم.
پروژه نمونه با یک پیادهسازی ایجنت و مجموعهدادههای نمونه ارائه میشود. بخشی از تجربه شروع کار، افزودن ابزاربندی اوپنتلهمتری (OpenTelemetry) است و کلادواچ امنی (CloudWatch Omni) شما را در هر مرحله راهنمایی میکند. شما همچنین میتوانید یک ایجنت جدید از ابتدا ایجاد کنید. کلادواچ امنی (CloudWatch Omni) شما را از طریق یک چت تعاملی که در آن هدف ایجنت را تعریف میکنید، ارائهدهنده مدل را انتخاب میکنید و ابزارها را پیکربندی میکنید، در این فرآیند راهنمایی میکند. تمام دادهها به طور پیشفرض به صورت محلی ذخیره میشوند. شما به صورت اختیاری میتوانید به آمازون وب سرویس (AWS) متصل شوید تا دادهها را به آمازون کلادواچ (Amazon CloudWatch) ارسال کنید.
پس از تأیید پیکربندی، سرور توسعه محلی را راهاندازی کردم و سؤالی را به ایجنت ارسال کردم. چیزی که این را از یک رابط چتبات معمولی متمایز میکند، اتفاقی است که در ادامه میافتد: انتخاب گزینه مشاهده تریس (View Trace) دقیقاً نحوه پردازش درخواست توسط ایجنت را نشان میدهد.
سرویس کلادواچ امنی (CloudWatch Omni) با دستیاران کد هوش مصنوعی مانند کیرو (Kiro)، کلود کد (Claude Code) و کدکس (Codex) ادغام میشود تا روند راهاندازی را ساده کند. این دستیاران میتوانند سرور توسعه، نصب وابستگیها و تنظیم ابزاربندی را از طرف شما پیکربندی کنند، بنابراین میتوانید در عرض چند دقیقه بدون پیکربندی دستی، از نصب تا اجرای اولین جلسه ایجنت ردیابی شده خود پیش بروید.
تریسها برای درک رفتار ایجنت هوش مصنوعی ضروری هستند. برخلاف سیستمهای درخواست-پاسخ سنتی، ایجنتها تصمیمات متعددی در هر فراخوانی میگیرند: انتخاب ابزار، ترکیب پرامپتها و زنجیرهسازی فراخوانیهای فرعی. بدون دید کامل تریس، عیبیابی اینکه چرا یک ایجنت پاسخ نادرستی داده یا مسیر غیرمنتظرهای را طی کرده است، به حدس و گمان تبدیل میشود. سرویس کلادواچ امنی (CloudWatch Omni) هر مرحله را در یک جدول زمانی ساختاریافته ثبت میکند تا بتوانید دقیقاً مشخص کنید کجا رفتار منحرف شده است.
مرورگر تریس (Trace Explorer) تفکیک دقیقی از هر مرحلهای که ایجنت طی کرده است (فراخوانیهای مدل زبان بزرگ، فراخوانی ابزار و مراحل استدلال) را در یک جدول زمانی ساختاریافته و سلسلهمراتبی نشان میدهد. من توانستم برای بررسی ورودیها، خروجیها، میزان مصرف توکن و تأخیر (latency)، به هر بازی (span) وارد شوم.
مرورگر تریس همچنین از حالت مقایسه (Compare mode) پشتیبانی میکند که دو تریس را در کنار یکدیگر قرار میدهد تا ببیند پرامپتها یا پیکربندیهای مختلف چگونه بر رفتار تأثیر میگذارند. حالت مقایسه بهویژه هنگام دیباگ کردن افت کیفیت مفید است. و با پرسش از دستیار (Ask Assistant)، یک ایجنت هوش مصنوعی تریسهای شما را تجزیهوتحلیل میکند تا الگوها و ناهنجاریها را نمایان کند و به سوالاتی مانند «چرا ایجنت این ابزار را دو بار فراخوانی کرد؟» پاسخ دهد.
ارزیابی چیزی است که قابلیت مشاهده را به بهبود کیفیت عملی برای هوش مصنوعی مولد تبدیل میکند. معیارهای سنتی مانند تأخیر و نرخ خطا نمیتوانند به شما بگویند که آیا پاسخ ایجنت مفید، منسجم یا از نظر واقعی درست بوده است ابزارها هر پاسخ را در برابر ابعاد کیفیت امتیازدهی میکنند، به شما امکان میدهند آنچه را که کاربران واقعاً تجربه میکنند اندازهگیری کنید و افت کیفیتهایی را که نظارت استاندارد کاملاً از دست میدهد، شناسایی کنید.
سرویس کلادواچ امنی (CloudWatch Omni) شامل ۱۷ ارزیاب داخلی برای معیارهایی مانند انسجام، مفید بودن، وفاداری و صحت مسیریابی است. من تریسها را از مرورگر تریس انتخاب کردم، ارزیابها را برگزیدم و یک ارزیابی را اجرا کردم و بدون ساختن هیچ فریمورک ارزیابی سفارشی، امتیازهای هر نمونه و معیارهای کلی را دریافت کردم.
از آنجا، من از محیط آزمایش (Playground) برای آزمایش پرامپتهای مختلف سیستم در کنار یکدیگر استفاده کردم و چندین پیکربندی مدل و پرامپت را در زمان واقعی مقایسه کردم تا ببینم هر تغییر چگونه بر کیفیت خروجی قبل از اعمال تغییرات تأثیر میگذارد. با نمای آزمایشها (Experiments)، توانستم همان مجموعهداده را در برابر دو نوع ایجنت اجرا کنم و امتیازهای ارزیابی، تأخیر و میزان مصرف توکن آنها را در کنار یکدیگر مقایسه کنم تا بهترین پیکربندی را انتخاب کنم.
با مدیریت پرامپت (Prompt Management)، میتوانید پیکربندیهای پرامپت را در طول زمان نسخه بندی و ردیابی کنید و در صورت عملکرد ضعیف نسخه جدید، بازگشت به نسخه قبل را آسان کنید.
سرویس کلادواچ امنی (CloudWatch Omni) همچنین یک مرورگر جلسه (Session Explorer) برای بررسی تاریخچه کامل مکالمات و درک نحوه مدیریت تعاملات چند مرحلهای توسط ایجنتها فراهم میکند، همراه با یک نمای توپولوژی ایجنت (Agent Topology) که معماری سیستم ایجنت شما، از جمله زیرایجنتها، ابزارها و اتصالات متقابل آنها را تجسم میکند. شما میتوانید برای بررسی عملکرد و شناسایی گلوگاهها به هر گرهی وارد شوید.
سرویس کلادواچ امنی (CloudWatch Omni) همچنین یک تجربه وب اختصاصی قابل دسترسی از هر مرورگری بدون نیاز به محیط توسعه ارائه میدهد. تیمها میتوانند به طور مشترک به تمام قابلیتها از جمله نظارت بر برنامه، تجزیهوتحلیل، قابلیت مشاهده ایجنت و بررسیهای مبتنی بر هوش مصنوعی دسترسی داشته باشند.
من تریسها را در مجموعهدادههای طلایی (golden datasets) برای آزمایشهای ساختاریافته سرپرستی کردم. تابع آزمایش (Experiment) ایجنت را در برابر یک مجموعهداده اجرا میکند و نتایج را به طور خودکار امتیازدهی میکند و معیارهایی را برای تست رگرسیون ایجاد میکند هر زمان که پرامپتها یا منطق ایجنت تغییر کنند.
اگر از قبل یک ایجنت ساخته شده با یک فریمورک پشتیبانیشده دارید، سرویس کلادواچ امنی (CloudWatch Omni) دو مسیر برای افزودن ابزاربندی ارائه میدهد: ابزاربندی خودکار با کیرو (Auto-instrument with Kiro) که فریمورک شما را تشخیص میدهد و ردیابی را به طور خودکار پیکربندی میکند، یا ابزاربندی دستی (manual instrumentation) با قطعه کدهای آماده برای پایتون و تایپاسکریپت. برای راهنمای دقیق ابزاربندی، به مستندات کلادواچ امنی (CloudWatch Omni) مراجعه کنید.
فریمورکهای پشتیبانیشده و استانداردهای باز
راهنمای بالا از پروژه نمونه استفاده میکند، اما سرویس کلادواچ امنی (CloudWatch Omni) با فریمورکهای ایجنتی که تیمها از قبل استفاده میکنند کار میکند: لنگچین (LangGraph)، لنگگراف (LangGraph)، کروای (CrewAI)، کیت توسعه نرمافزار OpenAI (OpenAI SDK)، سترندز (Strands)، کیت توسعه نرمافزار Vercel AI (Vercel AI SDK) و موارد دیگر، در هر دو زبان پایتون و تایپاسکریپت. این سرویس همچنین قابلیت مشاهده بومی را برای ایجنتهای ساخته شده با آمازون بدراک (Amazon Bedrock) و ایجنتکور (AgentCore) فراهم میکند و از قابلیتهای ارزیابی ایجنتکور (AgentCore) برای ارزیابی کیفیت ایجنت مستقیماً در گردش کار امنی استفاده میکند.
ابزاربندی از استانداردهای باز (اوپن اینفرنس (OpenInference) و ایدات (ADOT)) استفاده میکند، چه ایجنتهای شما روی لامبدا (Lambda)، ایسیاس (ECS)، ایکِیاس (EKS) یا ابرهای دیگر اجرا شوند. برای ارزیابی، امنی با ارزیابهای شخص ثالث از جمله برینترست (Braintrust)، دیپاووال (DeepEval) و راگاس (Ragas)، در کنار مجموعهدادههای داخلی، محیط آزمایش و آزمایشهای دستهای یکپارچه میشود. نیازی به تغییر پلتفرم نیست.
سرویس کلادواچ امنی (CloudWatch Omni) قابلیت مشاهده ایجنت و قابلیت مشاهده برنامه را در یک تجربه واحد گرد هم میآورد. برای تجربه قابلیت مشاهده برنامه، مقاله همراه معرفی آمازون کلادواچ امنی: قابلیت مشاهده مشارکتی مبتنی بر هوش مصنوعی برای برنامههای شما (Introducing Amazon CloudWatch Omni: collaborative AI-powered observability for your applications) را بخوانید.
قیمتگذاری و دسترسی
سرویس آمازون کلادواچ امنی (Amazon CloudWatch Omni) اکنون به طور عمومی در دسترس است. افزونه محیط توسعه برای استفاده رایگان است. برای شروع کار نیازی به حساب آمازون وب سرویس (AWS) ندارید. شما فقط برای مدلهای آمازون بدراک (Amazon Bedrock) به اعتبارنامههای آمازون وب سرویس (AWS) یا برای سایر ارائهدهندگان مانند اوهپنآی (OpenAI) یا آنتروپیک (Anthropic) به کلیدهای API نیاز دارید. همین امروز با نصب افزونه از مارکتپیس ویاس کد (VS Code Marketplace) شروع کنید.
برای بررسی تمام قابلیتها و شروع سریع، به بخش کلادواچ در مرکز سازندگان آمازون (CloudWatch on AWS Builder Center) مراجعه کنید.
اگر میخواهید APIها را فراخوانی کنید، مستندات را جستجو کنید، دسترسی منطقهای را پیدا کنید و عیبیابی این ویژگی را بررسی کنید، سعی کنید از سرور پروتکل زمینه مدل آمازون (AWS MCP Server) و افزونهها با ابزار هوش مصنوعی دلخواه خود استفاده کنید. نظرات خود را در آمازون ریپست (AWS re:Post) به اشتراک بگذارید یا از طریق مخاطبین معمولی پشتیبانی آمازون وب سرویس (AWS Support) با ما تماس بگیرید.
ساختن مبارک!
— دانیل ابیب (Daniel Abib)
منبع: aws.amazon.com