Meta自建AI搜索狂扫全网，已经把独立开发者服务器爬报警

BiRun 讯，Meta 正在疯狂抓取网页，给自己的 AI 搜索建索引。独立开发者 Pieter Levels 称，Meta 本周高频抓取他旗下多个网站，其中一台 VPS 已经多次触发负载报警。

DataDome 统计显示，今年第二季度，Meta 两只 AI 爬虫一共发出 91 亿次请求。其中负责建立搜索索引的 Meta-WebIndexer 单季增长 163%，6 月请求量首次超过训练爬虫。

Meta 早在 2024 年就被曝自建搜索引擎，想让 Meta AI 减少对 Google 和 Bing 的依赖。现在这套搜索索引正在明显加速扩张，但如此高强度抓取，却几乎没有给网站带回真实用户。

一名 Meta 员工私信透露，公司想做自己的「Google」，避免把 AI 搜索请求交给 Google，再被 Google 拿去训练。

Pieter Levels