اینترنت مخاطب دومی دارد؛ چرا بیش از نیمی از ترافیک وب غیرانسانی است؟

برای بیشتر تاریخ اینترنت، وب یک مخاطب داشت که صورت‌حساب‌ها را پرداخت می‌کرد: انسان‌ها. ما مقاله‌ها را می‌خواندیم، تبلیغات را می‌دیدیم و اشتراک می‌خریدیم. ربات‌ها همیشه حضور داشتند، اما آن‌ها عمدتاً عملیات خودکار بزرگی بودند که تبلیغات را نمی‌دیدند، چیزی نمی‌خرییدند یا به معنای واقعی کلمه چیزی نمی‌خواندند.

این وضعیت به سرعت در حال تغییر است. در پایان سال ۲۰۲۴، شرکت کلودفلر (Cloudflare) به‌طور میانگین ۶۳ میلیون درخواست HTTP در هر ثانیه را مدیریت می‌کرد. امروز این رقم تقریباً دو برابر شده و به ۱۱۵ میلیون رسیده است که در ساعات اوج مصرف از ۱۵۰ میلیون نیز فراتر می‌رود. طی سال گذشته، درخواست‌های روزانه ایجنت‌های هوش مصنوعی (AI agents) در شبکه ما بیش از ۱۷۰۰ درصد رشد کرده است. امسال، برای نخستین بار، بیش از نیمی از ترافیک اینترنت غیرانسانی بود.

وب انسانی کوچک نشد تا فضایی برای این موارد باز شود. مخاطب دومی در کنار آن ظهور کرد: ایجنت‌ها، نرم‌افزارهایی که از طرف انسان‌ها عمل می‌کنند. آن‌ها جایی بین انسان‌ها و ربات‌های سنتی قرار دارند. آن‌ها به تبلیغات پاسخ نمی‌دهند، اما معمولاً یک انسان در پشت آن‌ها حضور دارد که کاری برای انجام دادن دارد. برای کسب‌وکارهایی که یاد می‌گیرند به آن‌ها خدمات ارائه دهند و ارزش را از آن‌ها جذب کنند، ایجنت‌ها ارزش افزوده هستند. برای کسانی که این کار را نمی‌کنند، استخراج‌کننده هستند.

آنچه مشتریان ما به آن نیاز دارند تغییر نکرده است: کشف شدن، گفتن داستان‌های عالی، ساخت تجربیات عالی و فروش. آنچه تغییر کرده این است که بیش از نیمی از بازدیدکنندگان شما اکنون نرم‌افزار هستند. وظیفه ما کمک به شما برای ارائه خدمات به هر دو مخاطب است.

ترافیک بیشتر، درآمد کمتر

به مدت سی سال، وب بر اساس یک توافق اداره می‌شد: شما به موتورهای جستجو اجازه می‌دادید سایت شما را خزش (Crawl) کنند، آن‌ها برای شما بازدیدکننده می‌فرستادند و شما آن بازدیدکنندگان را به یک کسب‌وکار تبدیل می‌کردید. پیدا شدن و پول گرفتن یک چیز بودند.

هوش مصنوعی باعث شد این تعادل ظریف از هم بپاشد. اکنون، موتورهای پاسخگو صفحه را می‌خوانند و به خواننده خلاصه می‌دهند. این کار برای وب‌سایت‌ها هزینه پهنای باند به همراه دارد بدون اینکه انسانی را به وب‌سایتی هدایت کند که در آن تبلیغات یا پرداخت‌ها اتفاق می‌افتد. ماشین‌ها همچنان آمدند و مخاطبی که به خاطر وب پول پرداخت می‌کرد، دیگر به آن سایت‌ها نرسید. برخی از دسته‌بندی‌هایی که بیشترین خزش روی آن‌ها انجام شده است، مانند خرده‌فروشی، نرم‌افزار کامپیوتر، فناوری اطلاعات و خدمات و خدمات مالی، کاهش ترافیک انسانی تا ۴۰ درصد را در کمتر از یک سال تجربه کرده‌اند.

نتیجه این است که درآمد به ازای هر درخواست در حال کاهش و هزینه‌ها در حال افزایش است. هر درخواست خودکار همچنان هزینه‌های پهنای باند، پردازش و ظرفیت مبدأ را به همراه دارد و سهم رو به رشدی از این درخواست‌ها فاقد ارجاع، بدون نمایش تبلیغات و بدون اشتراک است. غریزه اولیه ما این بود که تمام ترافیک خودکار را مسدود کنیم. سال گذشته ما پیشنهاد کردیم خزنده‌های آموزش هوش مصنوعی را در دامنه‌های جدید مسدود کنید تا مالکان سایت حداقل بتوانند به استفاده از محتوایشان برای ساخت مدل‌ها نه بگویند. در بهار ۲۰۲۵، ۲۲ درصد از درخواست‌های خزنده‌ای که دیدیم مربوط به آموزش هوش مصنوعی بود (بر اساس هدف اعلام شده خزنده‌ها). تا ژوئن ۲۰۲۶، این رقم به ۵۲ درصد رسید. مشکل این است که یک «نه» مطلق رویکرد به اندازه کافی ظریفی برای اقتصاد وب که هم‌اکنون در حال ساخت است، نیست.

فرصت برای پذیرایی از ایجنت‌ها وجود دارد. اگر آن را درست انجام دهید، در خط مقدم یک مدل کسب‌وکار جدید قرار خواهید گرفت. با این حال، اگر آن را اشتباه انجام دهید، نتایج همانند نسل‌های وب‌سایت‌هایی خواهد بود که در سمت اشتباه تغییرات الگوریتم موتورهای جستجو قرار داشتند.

بخشی از آن ترافیک یک مشتری است

یک ایجنت که میز رزرو می‌کند، قیمت‌های بیمه را مقایسه می‌کند یا مجموعه داده‌ای را برای یک پژوهشگر می‌خرد، یک مشتری است. فقط یک مشتری انسانی نیست.

سریع‌ترین بخش در حال رشد ترافیک خودکار دیگر خزنده‌ها نیستند. آن‌ها ایجنت‌ها هستند: نرم‌افزارهایی که صفحات را از طرف یک شخص می‌آورند، اغلب به این دلیل که انسان از یک ربات گفتگو چیزی خواسته است. آن ترافیک ایجنت از روال‌های انسانی پیروی می‌کند، با ریتم هفتگی و افت در تعطیلات تابستانی. اگر یک ایجنت را رد کنید، ممکن است شخصی را که آن را فرستاده است رد کنید.

ایجنت‌ها همچنین متفاوت از خزنده‌های آموزشی رفتار می‌کنند. یک خزنده آموزشی صفحات شما را برای ساخت یک مدل جمع‌آوری می‌کند. یک ایجنت هر بار که کسی درباره آن محتوا سوال می‌کند برمی‌گردد، بنابراین این ترافیک با میزان پرسش‌های مردم رشد می‌کند، نه با میزان انتشار شما.

شما نمی‌توانید با مخاطبی که نمی‌توانید ببینید، نمی‌توانید از هم تشخیص دهید، نمی‌توانید برای آن شرایط تعیین کنید و نمی‌توانید از آن پول بگیرید، تجارت کنید. تا همین اواخر، برای بیشتر ترافیک غیرانسانی وب، هیچ یک از آن چهار کار امکان‌پذیر نبود.

ببینید چه کسی واقعاً بازدید می‌کند

«ربات هوش مصنوعی» دیگر معنای مفیدی ندارد. آنچه اهمیت دارد کاری است که یک ربات انجام می‌دهد. ابزارهای کنترل خزش هوش مصنوعی (AI Crawl Control)، بینلایت‌های کسب‌وکار (Business Insights) و بات‌بیس (BotBase) شرکت کلودفلر به مالکان سایت نشان می‌دهند چه کسی در حال خزش است، چه چیزی را می‌برد، چه چیزی برمی‌گردد و کدام یک از URLهای شما را بیشتر می‌خواهند.

نام یک ربات تنها زمانی ارزش دارد که بتوانید به آن اعتماد کنید. با احراز هویت ربات وب (Web Bot Auth)، اپراتورها از جمله OpenAI، گوگل (Google) و ای‌دابلیو‌اس (AWS)، درخواست‌های ایجنت‌های خود را به صورت رمزنگاری شده امضا می‌کنند، بنابراین یک سایت می‌تواند یک ایجنت واقعی را از یک متقلب بدون حدس زدن از روی آدرس‌های IP یا رشته‌های معرف کاربر تشخیص دهد. ما هر هفته بیش از ۵۰۰ میلیارد درخواست ربات تأیید شده را می‌بینیم.

شرایط خود را تعیین کنید

در ماه ژوئیه، ما کلید تک‌گزینه‌ای «مسدود کردن ربات‌های هوش مصنوعی» را با کنترل‌های جداگانه جستجو، ایجنت و آموزش جایگزین کردیم که در هر طرحی، از جمله رایگان، در دسترس است. داده‌ها نشان دادند که چرا این تفکیک مورد نیاز است. کمتر از ۱ درصد از سایت‌های روی کلودفلر خزنده‌های جستجو را مسدود می‌کنند، در حالی که ۱۷ درصد آموزش را مسدود می‌کنند. مالکان سایت هرگز به دنبال پنهان شدن نبودند. اما با ظهور ترافیک مبتنی بر ایجنت و روش‌های جدیدی که ایجنت‌ها از اطلاعات استفاده می‌کنند، آن‌ها ناگهان هیچ شفافیت یا انتخابی نسبت به نحوه استفاده از محتوایشان نداشتند. پیدا شدن دیگر تضمین نمی‌کند که آن‌ها پول دریافت کنند و آن‌ها می‌خواهند بدون استثمار شدن پیدا شوند.

این امر به‌ویژه در مورد خزنده‌های با کاربرد ترکیبی دشوار است. هنگامی که یک ربات هم جستجو و هم آموزش را انجام می‌دهد، امتناع از یکی به معنای امتناع از دیگری است. در ۱۵ سپتامبر، ما قابلیت غیرفعال کردن آموزش هوش مصنوعی (Disallow AI Training) را ارائه کردیم. این قابلیت شما را برای جستجو در فهرست نگه می‌دارد در حالی که از مکانیزم‌های خاص خزنده استفاده می‌کند تا به اپراتور دستور دهد از داده‌های شما برای آموزش استفاده نکند. اپل (Apple)، گوگل (Google) و مایکروسافت (Microsoft) متعهد شده‌اند که به آن احترام بگذارند. رادار کلودفلر (Cloudflare Radar) نیز به طور عمومی رفتار خزنده را ردیابی می‌کند.

دامنه‌های جدید اکنون پیکربندی‌های پیشنهادی را بر اساس نحوه کسب درآمد سایت به جای قطعه نرم‌افزاری که بازدید می‌کند، مشاهده می‌کنند. برای سایت‌های مبتنی بر تبلیغات، شما به راحتی می‌توانید آموزش را غیرفعال کنید و ایجنت‌ها را در صفحاتی که تبلیغات حمل می‌کنند مسدود کنید، زیرا یک تبلیغ تنها زمانی پرداخت می‌کند که یک شخص آن را ببیند. شما می‌توانید هر یک از این تنظیمات را در هر زمان تغییر دهید.

پول بگیرید

در اوت ۲۰۲۶، ما اینترنت ایجنتی که در حال ساخت آن هستیم را به عنوان قابل خواندن، قابل کشف، قابل فراخوانی و قابل پرداخت توصیف کردیم. آخرین کلمه، یعنی قابل پرداخت، کلمه‌ای است که تعیین می‌کند آیا وب باز می‌تواند خود را تأمین مالی کند یا خیر. وب به راهی نیاز دارد تا بگوید «بله، اگر پول بدهید» به جای یک پاسخ دودویی «بله» یا «نه».

بازار صدور مجوز هم میزان تقاضا و هم جاهایی را که شکاف‌ها وجود دارند نشان می‌دهد. بیش از ۵۰ معامله ناشر و هوش مصنوعی از سال ۲۰۲۳ امضا شده است. تقریباً همه آن‌ها سفارشی و دوجانبه هستند، بین ناشران بزرگ و شرکت‌های بزرگ هوش مصنوعی. آن‌ها ثابت می‌کنند که محتوا ارزش دارد. اما آن‌ها به بیشتر وب نمی‌رسند و به بیشتر خریداران نمی‌رسند.

همه دارایی‌ها نباید به یک شکل فروخته شوند. محتوا و مجموعه داده‌های با ارزش بالا به یک شبکه قابل اعتماد نیاز دارند که در آن خریداران شناسایی شوند و گزارش دهند که چگونه از کار استفاده شده است. خدمات مانند APIها و ابزارهای MCP به این شکل کار نمی‌کنند: هر درخواست همان استفاده است.

بنابراین ما در حال ساخت برای هر دو هستیم.

پرداخت به ازای استفاده (Pay Per Use) به سایت‌هایی می‌رسد که صدور مجوز مستقیم نمی‌تواند به آن‌ها برسد. بیشتر ناشران هرگز معامله سفارشی با هر شرکت هوش مصنوعی نخواهند داشت و هیچ شرکت هوش مصنوعی نمی‌تواند با میلیون‌ها سایت مذاکره کند. پرداخت به ازای استفاده پل ارتباطی است. این سیستم برای خزش هزینه نمی‌کند. هنگامی که محتوا واقعاً استفاده می‌شود، پرداخت می‌کند. هر خریدار یک خزنده تأیید شده است، که این امر آن را به یک شبکه قابل اعتماد تبدیل می‌کند و هر یک از آن‌ها تعریف می‌کنند که چه چیزی به عنوان استفاده حساب می‌شود و چه مقدار پرداخت خواهد کرد.

ناشران پیشنهاد را می‌بینند، انتخاب می‌کنند که آیا عضو شوند یا خیر، و هر زمان که دیگر برای آن‌ها کار نکند، می‌توانند انصراف دهند. خریدار هر استفاده را گزارش می‌کند، کلودفلر آن گزارش‌ها را بررسی می‌کند، سپس برای خریدار صورت‌حساب صادر می‌کند و به ناشر پرداخت می‌کند. گزارش‌دهی به اندازه پرداخت اهمیت دارد. ناشران می‌بینند چه چیزی استفاده شده، چه زمانی و چه چیزی به دست آورده‌اند، و در جایی که خریدار گزارش می‌دهد، اطلاعاتی درباره اینکه کدام سوالات کار آن‌ها را رو آورده است. معاملات صدور مجوز به ندرت هیچ یک از این‌ها را نشان می‌دهند. این یک چرخه بازخورد ایجاد می‌کند: ناشران یاد می‌گیرند که مردم واقعاً چه چیزی را درخواست می‌کنند و از آن می‌توانند تصمیم بگیرند چه چیزی را پوشش دهند، چه چیزی را به‌روزرسانی کنند و چه چیزی را به راحتی در دسترس ایجنت‌ها قرار دهند.

یک تعریف واحد از استفاده وجود نخواهد داشت. یک موتور جستجو که به یک منبع استناد می‌کند، یک ایجنت پژوهشی که یک قسمت را نقل قول می‌کند و یک ایجنت خرید که یک خرید را کامل می‌کند، انواع مختلفی از ارزش را ایجاد می‌کنند و هر کدام مدل کسب‌وکار خود را خواهند خواست. خریداران می‌توانند از طریق چندین مدل کسب‌وکار با استفاده از همان ریل‌ها شرکت کنند، بدون هیچ‌گونه ادغام جدید برای ناشران. یک مجله تجاری برای مهندسین دریایی را در نظر بگیرید، با چند هزار مشترک و چشم‌انداز کمی برای معامله صدور مجوز هوش مصنوعی. این مجله از هر شرکت هوش مصنوعی شرکت‌کننده‌ای که از کار آن استفاده می‌کند، پول دریافت می‌کند.

درگاه کسب درآمد (Monetization Gateway) ارزشی را جذب می‌کند که هرگز راهی برای دست به دست شدن نداشته است. حساب‌ها، کلیدهای API و اشتراک‌ها برای مشتریانی کار می‌کنند که از قبل می‌شناسید، نه برای ایجنتی که می‌خواهد یک جستجو از خدماتی انجام دهد که قبلاً هرگز از آن استفاده نکرده است. نسخه بتا بسته ما به مشتریان واجد شرایط آمریکایی کلودفلر اجازه می‌دهد روی هر چیزی که از میان ما عبور می‌کند قیمت بگذارند، با استفاده از زبان قوانین که از قبل می‌شناسند. هنگامی که یک قانون تطبیق پیدا می‌کند، ما یک پاسخ HTTP 402 با نیاز به پرداخت با استفاده از پروتکل باز x402 برمی‌گردانیم و ایجنت مستقیماً به فروشنده پرداخت می‌کند.

این کار فراتر از بازیابی درآمد از دست رفته است. ایجنت‌ها خود به خود مشتری هستند: آن‌ها برای داده‌ها، APIها و ابزارهایی که استفاده می‌کنند پول می‌دهند، چه درخواست کل خرید باشد یا یک قدم در یک کار بزرگتر.

درگاه کسب درآمد قیمت‌گذاری را به ازای هر درخواست، به ازای هر پرس و جو یا به ازای هر توکن، با قیمت‌های ثابت یا سقف‌دار انجام می‌دهد. یک سایت آمار ورزشی که روی تبلیغات ساخته شده است می‌تواند کسری از سنت را هر بار که یک ایجنت می‌پرسد «چه کسی در لیگ در پاس گل پیشتاز است؟» شارژ کند. هنگامی که ما درگاه کسب درآمد را اعلام کردیم، هزاران فروشنده به فهرست انتظار پیوستند و رایج‌ترین درخواست آن‌ها این بود: «از ایجنت‌ها پول بگیرید، نه از انسان‌ها.» ما همچنین اولین مشتری خودمان هستیم. درگاه هوش مصنوعی کلودفلر (Cloudflare AI Gateway) از درگاه کسب درآمد استفاده می‌کند تا به ایجنت‌ها اجازه دهد برای استنتاج پول پرداخت کنند، بنابراین ما لبه‌های خشن را قبل از مشتریان خود پیدا می‌کنیم.

برای خریداران، هر دو محصول از یک صفحه مسدودکننده بهتر هستند: دسترسی قابل اعتماد، و راهی برای رسیدن به میلیون‌ها سایت به جای یک معامله صدور مجوز یا کلید API در یک زمان. هر درخواست پرداختی رسیتی را به جا می‌گذارد که نشان می‌دهد چه چیزی خریداری شده و برای آن پرداخت شده است.

هر دو محصول «پرداخت به ازای استفاده» و «درگاه کسب درآمد» شرط‌بندی‌هایی هستند که با مشتریان روی پریوتیوهای مشترک ساخته شده‌اند: هویت، اندازه‌گیری، قیمت‌گذاری، تسویه حساب و تجزیه و تحلیل. آن‌ها با هم کار می‌کنند، بنابراین یک ناشر می‌تواند آموزش را مسدود کند، جستجو را مجاز بداند، از پاسخ‌های هوش مصنوعی درآمد کسب کند و به ازای هر مقاله از یک داشبورد از ایجنت‌ها هزینه دریافت کند. قیمت‌گذاری و کشف هنوز حل نشده‌اند، به همین دلیل است که هر دو به عنوان نسخه بتا راه‌اندازی می‌شوند که توسط مشتریان واقعی و تراکنش‌های واقعی شکل گرفته‌اند.

هر درخواست را ارزان‌تر کنید

پرداخت پاسخ کاهش درآمد است. افزایش هزینه یک مشکل متفاوت است و بیشتر آن به سادگی هدر رفتن است. بیشتر خزنده‌ها هنوز صفحاتی را که برای انسان‌ها ساخته شده‌اند، بارها و بارها دانلود می‌کنند تا چند پاراگراف متن را استخراج کنند. اغلب ربات‌ها سایت‌هایی را خزش می‌کنند که از آخرین تلاش تغییری نکرده‌اند. این کار پهنای باند را برای سایت و پردازش را برای خزنده می‌سوزاند و قبل از اینکه پاسخی نوشته شود اتفاق می‌افتد. ما در حال کار با مشتریان خود و خزنده‌ها روی ابزارهایی هستیم که کمک خواهند کرد. امروز، می‌توانید مصرف پهنای باند استفاده شده به ازای هر اپراتور را در داشبورد ما مشاهده کنید.

در ماه ژوئیه، ما یک پروژه تحقیقاتی مشترک با OpenAI را اعلام کردیم، یک پایلوت بی‌سابقه برای بررسی اینکه چگونه بینش‌های شبکه جهانی کلودفلر می‌تواند به موتورهای جستجوی هوش مصنوعی کمک کند تا محتوای مرتبط را در وب باز به طور کارآمدتر و مؤثرتر کشف و فهرست‌بندی کنند. ما برنامه‌ریزی می‌کنیم نتایج اولیه خود را در چند هفته آینده به اشتراک بگذاریم.

برای مشتریان خود، ما در حال ارسال ابزارها و تجربیات تک‌کلیکی هستیم تا سایت‌هایشان را برای این نوع جدید از ترافیک بهینه‌سازی کنیم. مارک‌داون برای ایجنت‌ها (Markdown for Agents) به ایجنت‌ها اجازه می‌دهد بدون استایل‌دهی اضافی که برای چشم انسان در نظر گرفته شده است یک صفحه را بخوانند و WebMCP به یک سایت اجازه می‌دهد اقدامات را مستقیماً به جای وادار کردن ایجنت‌ها به حدس زدن اینکه چه دکمه‌ای را فشار دهند، آشکار کند.

چرا روی کلودفلر بسازیم

بیش از ۲۰ درصد از وب پشت شبکه کلودفلر قرار دارد و نزدیک به ۸۰ درصد از شرکت‌های پیشرو هوش مصنوعی نیز همین‌طور هستند. ما هر دو طرف این بازار را می‌بینیم. ما ریل‌ها را برای دید، هویت، کنترل‌ها و تسویه حساب می‌سازیم و اجازه می‌دهیم بازار بفهمد ارزش چیزها چقدر است.

معامله قدیمی از بین رفته است و معامله جدید هنوز در حال نوشته شدن است. با هم می‌توانیم آنچه را که در ادامه اتفاق می‌افتد شکل دهیم.

در یک نسخه، چند شرکت کنترل می‌کنند که ایجنت‌ها چگونه چیزها را پیدا کنند، ثابت کنند چه کسی هستند و پول پرداخت کنند و همه افراد دیگر از طریق آن‌ها مسیر یابی کنند. در نسخه دیگر، آن قطعات استانداردهای بازی هستند که هر کسی می‌تواند پیاده‌سازی کند و یک سایت در هر مقیاسی می‌تواند شرایط خود را تعیین کند و پول دریافت کند. ما دومی را ترجیح می‌دهیم.

به همین دلیل است که این ریل‌ها روی استانداردهای بازی مانند x402 و Web Bot Auth اجرا می‌شوند تا هر کسی بتواند روی آن‌ها بسازد. مالکان دامنه ارائه‌دهندگان هویت خود، پردازشگرهای پرداخت خود، شرکای ایجنت خود را انتخاب می‌کنند. کلودفلر یک گزینه است، نه کل پشته.

برای دهه‌ها، وب توسط افرادی که از آن بازدید می‌کردند پرداخت می‌شد. اکنون نرم‌افزاری که از طرف آن‌ها بازدید می‌کند نیز می‌تواند سهم خود را بپردازد.

منبع: blog.cloudflare.com