یک نکته جالب: وقتی از یک ایجنت (Agent) استفاده می‌کنید و نیاز دارد یک صفحه وب زنده را دریافت کند، ایجنت معمولاً به سادگی URL صفحه را حدس می‌زند و سپس یک فراخوانی ابزار برای curl کردن آن انجام می‌دهد. به همین دلیل است که گاهی اوقات می‌بینید دریافت‌های وب با خطای 404 Not Found برمی‌گردند، که این اتفاق زمانی می‌افتد که ایجنت URL آن اطلاعات را به اشتباه حدس بزند. همان‌طور که می‌توانید تصور کنید، حدس زدن تصادفی URLها در تمام مدت خیلی کارآمد نیست.
راه بهتری وجود دارد. چه می‌شود اگر ایجنت شما واقعاً بتواند در اینترنت جستجو کند، درست مانند نحوه شروع انسان‌ها با یک جستجوی موتور جستجو زمانی که به دنبال اطلاعات هستیم؟ این همان کاری است که جستجوی وب برای انجام آن طراحی شده است — این امکان را به ایجنت‌ها می‌دهد که داده‌های مرتبط را در اینترنت جستجو کنند و پاسخ‌های یک ایجنت را بر اساس اطلاعات زنده پایه‌گذاری کنند.
امروز، ما شراکت کلودفلر (Cloudflare) را با ارائه‌دهندگان جستجوی وب اعلام می‌کنیم تا هوش مستند را از طریق AI Gateway برای شما به ارمغان بیاوریم. ما این راه‌اندازی را با شرکای خود از Ceramic.ai، Exa و Linkup آغاز می‌کنیم.
با API جستجوی وب چه کاری می‌توانم انجام دهم؟
مدل‌های هوش مصنوعی فقط به اندازه زمینه (Context) که به آن‌ها می‌دهید خوب هستند. مدل‌ها معمولاً آموزش دیده‌اند و سپس در یک نقطه زمانی فریز می‌شوند و فقط بر اساس اطلاعاتی که قبل از تاریخ قطع دانش آن‌ها وجود داشته است عمل می‌کنند. این امر تعامل با مدل‌ها را در مورد رویدادهای اخیر، تغییر APIها یا اخبار به سرعت در حال تکامل بسیار دشوار می‌کند.
یکپارچه‌سازی مستقیم Web Search API در خط لوله استنتاج شما، ایجنت‌های شما را به یک لایه زمینه پویا مجهز می‌کند. برنامه‌های شما قطعات تازه و ساختاریافته‌ای را از وب دریافت می‌کنند که مستقیماً در زمینه تزریق می‌شوند و به مدل‌های شما دسترسی به اطلاعات زنده را می‌دهند.
برای مثال، اگر ایجنت شما با ابزارهای توسعه‌دهنده کلودفلر (Cloudflare) در حال ساخت بود، ممکن است تمام محصولات و ویژگی‌های جدیدی را که در طول این Birthday Week منتشر می‌کنیم از دست بدهد! با جستجوی وب، می‌توانید آخرین و بهترین مستندات و نسخه‌ها را بازیابی کنید تا بتوانید سریع‌تر و هوشمندانه‌تر بسازید.
بالابردن استاندارد صنعت برای جستجوی وب
در کلودفلر (Cloudflare)، ما معتقدیم که خزنده‌ها (Crawlers) باید صادق، شفاف باشند و به تمام قوانین و ترجیحات ربات‌ها احترام بگذارند، و صاحبان سایت باید شفافیت و کنترل معناداری بر نحوه استفاده از محتوای خود داشته باشند. با راه‌اندازی امروز، ما هیجان‌زده هستیم که اعلام کنیم شرکای ما متعهد شده‌اند که استانداردهای خزش ربات کلودفلر (Cloudflare) را رعایت کنند.
خزنده استفاده شده توسط ارائه‌دهنده جستجوی وب باید با الزامات اعلام شده عمومی کلودفلر (Cloudflare) برای «ربات‌های تأیید شده» همان‌طور که در مستندات توسعه‌دهنده ما تعریف شده است مطابقت داشته باشد، و پاسخ‌های جستجوی وب باید شامل پیوندی به مکان محتوای خزیده شده باشد. این قوانین برای یک اینترنت عادلانه مثبت هستند و به سازندگان اجازه می‌دهند تصمیم بگیرند که می‌خواهند با داده‌های خود چه کنند.
ما بسیار هیجان‌زده هستیم که قدم دیگری در تعیین استاندارد برای معنای یک خزنده خوب در اینترنت برمی‌داریم و حتی به شرکای جستجوی وب که برای پذیرش این استانداردها با ما به این چالش برخاسته‌اند، افتخار می‌کنیم. وقتی از جستجوی وب در کلودفلر (Cloudflare) استفاده می‌کنید، تصمیم می‌گیرید دانش جستجو را از اپراتورهایی مصرف کنید که متعهد به ارائه شفافیت، کنترل و دیدی هستند که به ساختن اینترنت بهتری کمک می‌کند، با شناسایی خزنده‌های خود، احترام به robots.txt و ارائه منبع نتایج جستجو.
استفاده از Web Search API از طریق AI Gateway
AI Gateway شرکت کلودفلر (Cloudflare) نقطه ادغام پرچمدار برای محصول جدید ما یعنی Web Search API است. AI Gateway به گونه‌ای طراحی شده است که صفحه کنترل برنامه‌های شما باشد، با قابلیت مشاهده (Observability)، صورت‌حساب یکپارچه، امنیت و کنترل‌های دسترسی که همه به صورت داخلی تعبیه شده‌اند. طبیعتاً، ما فکر کردیم که جستجوی وب کاملاً در آن جای می‌گیرد: شما می‌توانید جستجوی وب را با اعتبارات AI Gateway خود مصرف کنید؛ لاگ‌ها و داده‌های درخواست را در فراخوانی‌های جستجوی وب جمع‌آوری کنید؛ و کنترل کنید که چه کسی به چه ارائه‌دهندگان جستجوی وب دسترسی پیدا می‌کند.
درخواست‌ها در لاگ‌های قابلیت مشاهده معمولی AI Gateway شما ظاهر می‌شوند و پرس‌وجوهای جستجوی وب از موجودی اعتبار AI Gateway شما کسر می‌شوند. ما شرکایی را که از حفظ صفر داده (ZDR) پشتیبانی می‌کنند شناسایی خواهیم کرد تا بدانید که داده‌های شما حفظ نمی‌شوند. ما همچنین جستجوی وب را مستقیماً با قیمت‌گذاری فهرست API از شرکای خود، بدون هیچ‌گونه سود اضافی ارائه می‌کنیم. جزئیات بیشتر را می‌توانید در مستندات توسعه‌دهنده جستجوی وب پیدا کنید.
ما همچنین از قابلیت Bring-Your-Own-Key (BYOK) با ارائه‌دهندگان جستجوی وب پشتیبانی می‌کنیم، همان‌طور که با ارائه‌دهندگان استنتاج مدل انجام می‌دهیم. به این ترتیب، شما می‌توانید راه‌اندازی سازمانی موجود خود را به ارمغان بیاورید و با AI Gateway و جستجوی وب در چند مرحله ساده شروع کنید.
REST API مستقیم
اگر در حال برقراری فراخوانی‌های HTTP از یک بک‌اند موجود، برنامه موبایل یا سرویس خارجی هستید، می‌توانید جستجوی وب را مستقیماً از طریق یک پایانه استاندارد REST پرس‌وجو کنید. به سادگی توکن احراز هویت AI Gateway خود را ارسال کنید، ارائه‌دهنده ترجیحی خود را در بار مفید (Payload) مشخص کنید، و نتایج جستجوی وب را برمی‌گرداند.
اتصالات Workers
برای توسعه‌دهندگانی که مستقیماً روی Cloudflare Workers می‌سازند، یکپارچه‌سازی فقط یک خط کد طول می‌کشد. ما همچنین یک اتصال worker مستقل داریم که می‌توانید از آن برای انجام جستجوی وب برای ایجنت خود استفاده کنید:
به زودی: ابزارهای سرور
ما به طور فعال در حال ساخت ابزارهای سرور بومی مستقیماً در AI Gateway هستیم. به زودی، نیازی به تعریف ابزارها توسط خودتان نخواهید داشت: آن‌ها به صورت داخلی در صفحه کنترل ما قرار خواهند گرفت تا بتوانید زمان بیشتری را صرف ساختن کنید تا ارکستراسیون هارنس. جستجوی وب یکی از اولین ابزارهایی خواهد بود که در پشته ابزارهای سرور خود ادغام می‌کنیم و ما هیجان‌زده هستیم که آن را امتحان کنید.
با این حال، اگر می‌خواهید امروز جستجوی وب را به عنوان یک ابزار سرور توسط خودتان ارکستراسیون کنید، می‌توانید به راحتی این کار را با قطعه کد Worker زیر انجام دهید:
امروز آن را امتحان کنید!
ما هیجان‌زده هستیم که جستجوی وب را به پلتفرم خود بیاوریم و این کار را با شرکای فوق‌العاده‌ای انجام دهیم که از معنای یک سرپرست خوب برای اینترنت دفاع می‌کنند. لطفاً ابزارهای جستجوی وب جدید ما را از طریق AI Gateway، REST API مستقل و سایر قالب‌ها در آینده امتحان کنید. کار خود را با مستندات توسعه‌دهنده ما امروز آغاز کنید یا آن را در AI Playground با حساب و کلید AI Gateway خود امتحان کنید.
منبع: blog.cloudflare.com