AI 正在杀死互联网经济：当机器流量超过人类，内容付费模式被迫重启

BiRun 消息，作者：Shoal Research 编译：深潮 TechFlow 深潮导读： Cloudflare 最新数据显示，AI 机器人流量已占全网 HTML 请求的 60%，首次超过人类。这意味着支撑开放互联网二十年的“内容换流量”模式正在崩塌，而“按次付费”的新基础设施还没准备好。对内容创作者、广告商和所有依赖搜索引流的从业者来说，这是比算法更新更根本的生存问题。 2026 年 3 月 19 日，Cloudflare 首席执行官 Matthew Prince 预测，在生成式 AI 的推动下，机器人流量将在 2027 年超过人类流量。Cloudflare 是全球最大的内容分发网络，覆盖约 20% 的互联网。仅仅几个月后，Prince 宣布，代理式流量增长如此之快，机器人已经超过人类流量。Cloudflare 网络上的 HTML 内容 HTTP 请求中，机器人约占 60%，人类仅占 38.2%。随着自动化系统生成的 HTML 页面请求份额超过人类，且 AI 代理在其中所占比例不断上升，互联网赖以生存的商业模式正在崩塌。 养活开放互联网的那笔交易万维网实现了前所未有的全球信息民主化，而支撑这一使命的，是一套简单直接的“内容换流量”以物易物机制：出版商在网络上发布内容，搜索引擎在用户搜索时把读者导流到他们的网站。出版商以内容的形式向网络提供信息或娱乐；搜索引擎帮助把读者引导到相关网页；广告商通过在用户被引导到的网页上展示定向广告，把这次访问变现。这个同步运转的闭环，共同建立了价值数十亿美元的广告机器，养活了开放、无付费墙的互联网。 这笔交易养活了海量免费可访问的信息，同时也把分发权力集中在搜索和广告平台手中。它奖励行为广告、SEO 优化的内容堆量和追逐流量的内容生产，让出版商深度依赖推荐流量和注意力流量。AI 正在侵蚀这笔本就脆弱的交易中的“推荐”环节，而替代方案还没准备好。 谷歌的广告收入从 2001 年的 6690 万美元（这是它首次完整披露广告收入的年份）增长到 2025 年的 2947 亿美元，增长了约 4400 倍。 然而，近年来 AI 聊天机器人应用的爆发式增长，为网络信息发现引入了一种全新范式。从设计上，这些 AI 应用就优先考虑用户便利性，把受众留在聊天界面内部。这对用户来说很方便，但对出版商来说尤其致命。搜索引擎会把读者引导到内容来源的网站，而 AI 应用则把信息压缩、总结，作为对用户提问的最终回答的一部分直接呈现。出版商越来越难通过网站流量变现，因为他们失去了与用户的直接关系，人类访问量也在减少。 一个正在兴起的解决方案，是在互联网上为内容和搜索引入全新的“按次付费”支付基础设施。在本文中，我们将探讨 AI 如何“搞垮互联网”、这个方案的两种不同路径，以及这个新兴的按次付费网络现在处于什么状态。 AI 爬虫与易货模式的死亡搜索引擎使用爬虫（一种为网页建立索引的自动化程序）来构建网络的“地图”。在传统的内容换流量模式下，出版商允许这些爬虫免费复制他们的文本，因为搜索引擎会以把人类读者导流回他们的网站作为回报。为了管理这种访问，行业依赖一个叫 robots.txt 的文本文件，这是一套未加密的、自愿遵守的荣誉系统。robots.txt 之所以能长期平稳运行，是因为无视 robots.txt 意味着失去对出版商内容的访问权，这会直接损害搜索引擎对网络的索引质量。 生成式 AI 应用把爬虫从索引工具变成了主动消费者，从而瓦解了网络的内容换流量交易，这在训练和实时检索两个环节表现得最为明显。在训练阶段，像 GPT 或 Claude 这样的大语言模。