X(原推特)已經屏蔽除穀歌以外的所有搜索引擎以阻止數據被抓取 – 藍點網

但其他搜索引擎就沒那麽幸運了，不過後麵 X 對穀歌解封了。後麵估計索引數量會進一步降低，在協議規定未經同意獲取內容屬於違反協議的行為，

那穀歌為什麽是例外的呢？估計馬斯克都要罵街了，就辯稱這是 robots.txt 隻是行業管理而非法律規定)，所以仍然有各種來路不明的爬蟲試圖抓取推特上的內容拿去賣數據。其他所有爬蟲均被封禁。目前這一協議尚未到期。允許穀歌抓取內容，

7 月初埃隆馬斯克帶領的 X 曾屏蔽穀歌搜索爬蟲抓取內容，更新後的 robots.txt 文件僅允許 Googlebot 抓取內容，這導致穀歌搜索無法在用戶搜索 X 用戶名時展示最新的推文摘要，

發生了什麽？原因是 X 屏蔽了除穀歌搜索以外的所有搜索引擎爬蟲，因為之前有傳聞稱傑克多西時代的推特與穀歌達成了相關協議，

藍點網通過互聯網檔案館排查發現，馬斯克對這些未經同意的抓取行為直接起訴。如果使用 site:twitter.com 指令在必應搜索上查詢的話，至於原因嘛也很簡單，X 是在 2023 年 7 月 24 日執行屏蔽操作的，

所以現在諸如必應搜索上的推特內容極少也就是這個原因，埃隆馬斯克不想 X 的數據被其他人抓取拿去訓練 AI，之前某大數字被某度起訴抓取某度百科內容時，而穀歌搜索則是 4.22 億條。

不過 robots.txt 畢竟隻是君子協定 (這不是法律規定，

對於這種情況埃隆馬斯克也早有準備，所有屏蔽了諸如 Bingbot、MSNbot、

附 X robots.txt 的最新內容：

# Google Search Engine Robot# ==========================User-agent: GooglebotAllow: /?_escaped_fragment_Allow: /*?lang=Allow: /hashtag/*?src=Allow: /search?q=%23Allow: /i/api/Disallow: /search/realtimeDisallow: /search/usersDisallow: /search/*/gridAllow: /*?ref_src=Allow: /*?src=Disallow: /*?Disallow: /*/followersDisallow: /*/followingDisallow: /account/deactivatedDisallow: /settings/deactivated# 下麵的指令代表禁止搜索爬蟲抓取內容# ========================================================User-agent: *Disallow: /