🤖
GEO 工具

AI 爬虫抓取验证工具

覆盖 48 项爬虫与用途控制标识，区分 AI 训练、AI 搜索和用户触发等用途，检测网页访问、robots.txt 规则和 Meta robots 标签

输入网站 URL

输入你想检测的网站域名或完整 URL（支持带或不带 http/https 前缀）

🤖
正在模拟 AI 爬虫访问…

功能简介

工具收录 48 项爬虫与用途控制标识，按优先级检测，并为每个身份展示用途、厂商、完整 User-Agent 及资料来源。资料整理于 2026-10-26；同一厂商的训练、搜索和用户触发身份分别说明。

用途参考 GEOInflow 的分类说明，并结合各厂商文档补充。传统搜索、通用采集和未知用途单独标记，避免把所有抓取都视为 AI 训练。

地区标识：★中国厂商　★美国厂商（其他地区不标注）； 优先级：高 = 主流 AI 搜索/聊天产品、基础模型训练或高抓取量，建议默认检测；中 = 有明确用途但流量或资料完整度相对较低；低 = 特定场景补充。 带 非官方 标注的爬虫，其 UA 来自日志观测或第三方记录，厂商尚未正式确认。

优先级 名称 厂商 说明 完整 User-Agent Robots.txt disallow 规则
高优先级
高 ★GPTBot
OpenAIAI 训练
 采集可用于 OpenAI 基础模型训练的公开网页。与 ChatGPT 搜索索引和用户即时访问使用不同身份，可分别设置抓取偏好。
官方说明 ↗ 		Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot

User-agent: GPTBot Disallow: /private-folder
高 ★OAI-SearchBot
OpenAIAI 搜索
 为 ChatGPT 搜索发现与索引网页，帮助回答引用原始来源；此身份不用于基础模型训练。
官方说明 ↗ 		Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot

User-agent: OAI-SearchBot Disallow: /private-folder
高 ★ChatGPT-User
OpenAI用户触发
 在用户要求 ChatGPT 或自定义 GPT 读取网页时访问内容，不承担自动搜索索引抓取。
官方说明 ↗ ⚠️ 用户触发型，可能不受 robots.txt 约束。 		Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot

User-agent: ChatGPT-User Disallow: /private-folder
高 ★ClaudeBot
AnthropicAI 训练
 收集可用于 Anthropic 模型训练的公开内容；训练抓取与 Claude 搜索、用户请求分别使用独立身份。
官方说明 ↗ 		Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)

User-agent: ClaudeBot Disallow: /private-folder
高 ★Claude-SearchBot
AnthropicAI 搜索
 发现网页并维护 Claude 搜索所需的内容索引，帮助搜索回答找到相关来源。
官方说明 ↗ 		Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Claude-SearchBot/1.0; +https://www.anthropic.com)

User-agent: Claude-SearchBot Disallow: /private-folder
高 ★Claude-User
Anthropic用户触发
 响应 Claude 用户的网页读取请求，获取当次回答需要的内容；与训练型 ClaudeBot 分开管理。
官方说明 ↗ ⚠️ 用户触发读取；Anthropic 官方说明其爬虫遵守 robots.txt。 		Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Claude-User/1.0; +Claude-User@anthropic.com)

User-agent: Claude-User Disallow: /private-folder
高 ★Googlebot
Google传统搜索
 Google 搜索的通用网页索引爬虫，其抓取也支持 AI Overviews 等搜索功能；允许抓取不等于授权模型训练。
官方说明 ↗ 		Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

User-agent: Googlebot Disallow: /private-folder
高 ★Google-Extended
GoogleAI 训练
 robots.txt 用途控制标识，用于管理已抓取内容的 Gemini 训练及部分回答参考用途；没有独立 HTTP 爬虫，不影响 Google 搜索收录。
官方说明 ↗ ℹ️ Token 型，不发起独立 HTTP 请求，仅作 robots.txt 控制。 		Mozilla/5.0 (compatible; Google-Extended)

User-agent: Google-Extended Disallow: /private-folder
高 ★Google-GeminiNotebook
Google用户触发
 用户为 Gemini Notebook 添加网页来源时读取内容，属于用户请求场景，与搜索索引和训练抓取区分。
参考目录 ↗ ⚠️ 用户触发型，通常忽略 robots.txt。 		Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/137.0.0.0 Safari/537.36 (compatible; Google-GeminiNotebook; +https://developers.google.com/crawling/docs/crawlers-fetchers/google-gemininotebook)

User-agent: Google-GeminiNotebook Disallow: /private-folder
高 ★Google-Agent (Desktop)
Google用户触发
 Google 托管 Agent 在桌面浏览器场景下代用户访问网页。此项只模拟 UA，不模拟交互操作或真实来源认证。
参考目录 ↗ ⚠️ 用户触发型，通常忽略 robots.txt。 		Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko; compatible; Google-Agent; +https://developers.google.com/crawling/docs/crawlers-fetchers/google-agent) Chrome/W.X.Y.Z Safari/537.36

User-agent: Google-Agent Disallow: /private-folder
高 ★Google-Agent (Mobile)
Google用户触发
 Google 托管 Agent 在移动浏览器场景下代用户访问网页。桌面与移动 UA 可能触发不同的站点访问策略。
参考目录 ↗ ⚠️ 用户触发型，通常忽略 robots.txt。 		Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Google-Agent; +https://developers.google.com/crawling/docs/crawlers-fetchers/google-agent)

User-agent: Google-Agent Disallow: /private-folder
高 ★PerplexityBot
PerplexityAI 搜索
 为 Perplexity 搜索发现网页并提供来源链接；官方说明该身份不用于基础模型训练。
官方说明 ↗ 		Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)

User-agent: PerplexityBot Disallow: /private-folder
高 ★Perplexity-User
Perplexity用户触发
 应 Perplexity 用户的问题即时读取网页，用于回答及来源引用；不是自动索引或基础模型训练爬虫。
官方说明 ↗ ⚠️ 用户触发型，通常忽略 robots.txt。 		Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)

User-agent: Perplexity-User Disallow: /private-folder
高 ★CCBot
Common Crawl其他用途
 Common Crawl 的通用网页采集器，产出公开网页语料；这些语料可能被下游用于研究或 AI 训练，但它不是某家 AI 产品的专属爬虫。
参考目录 ↗ 		CCBot/2.0 (https://commoncrawl.org/faq/)

User-agent: CCBot Disallow: /private-folder
高 ★bingbot
Microsoft传统搜索
 维护 Bing 网页搜索索引，索引也可能服务 Copilot 等产品；不能把一次 Bing 抓取直接视为 AI 引用。
参考目录 ↗ 		Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/116.0.1938.76 Safari/537.36

User-agent: bingbot Disallow: /private-folder
高 ★KimiBot
月之暗面 KimiAI 训练
 参考目录列为 Kimi 的训练资料采集身份；与搜索索引和用户实时读取的身份分开设置。
参考目录 ↗ 		Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; KimiBot/1.0; +https://www.kimi.com/policies/kimi-crawlers

User-agent: KimiBot Disallow: /private-folder
高 ★Kimi-SearchBot
月之暗面 KimiAI 搜索
 参考目录列为 Kimi 的搜索内容索引身份，用于发现网页及支持搜索回答。
参考目录 ↗ 		Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; Kimi-SearchBot/1.0; +https://www.kimi.com/policies/kimi-crawlers

User-agent: Kimi-SearchBot Disallow: /private-folder
高 ★Kimi-User
月之暗面 Kimi用户触发
 参考目录列为 Kimi 用户请求触发的网页读取身份，不应与训练抓取混为一类。
参考目录 ↗ ⚠️ 用户触发型，robots.txt 可能不直接适用。 		Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; Kimi-User/1.0; +https://www.kimi.com/policies/kimi-crawlers

User-agent: Kimi-User Disallow: /private-folder
高 ★DeepSeekBot 非官方
DeepSeek其他用途
 日志与第三方资料中出现的 DeepSeek 相关身份；公开用途与完整 UA 尚待厂商确认，不能仅据名称认定用于训练。
参考目录 ↗ ⚠️ UA 为日志观测所得，官方尚无爬虫文档。 		Mozilla/5.0 (compatible; DeepSeekBot/1.0; +https://www.deepseek.com/bot)

User-agent: DeepSeekBot Disallow: /private-folder
高 ★Bytespider 非官方
字节跳动AI 训练
 字节跳动相关网页抓取身份，参考目录归为 AI 训练。具体用途及 robots 遵守情况应结合实际访问记录判断。
参考目录 ↗ ⚠️ robots.txt 合规性存在争议。 		Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; spider-feedback@bytedance.com)

User-agent: Bytespider Disallow: /private-folder
高 ★Baiduspider
百度传统搜索
 百度网页搜索索引爬虫。搜索生态可能使用其索引，但该身份本身不等同于某个 AI 产品的专属访问。
参考目录 ↗ 		Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

User-agent: Baiduspider Disallow: /private-folder
中优先级
中 ★Gemini-Deep-Research
Google用户触发
 Gemini 深度研究场景的网页读取身份；由用户研究任务触发，不代表通用的训练数据采集。
参考目录 ↗ 		Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Gemini-Deep-Research; +https://gemini.google/overview/deep-research/) Chrome/135.0.0.0 Safari/537.36

User-agent: Gemini-Deep-Research Disallow: /private-folder
中 ★Google-CloudVertexBot
Google其他用途
 响应网站所有者配置，为 Vertex AI Agents 等产品抓取站点内容；与 Google 搜索索引的抓取偏好分开。
官方说明 ↗ 		Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/141.0.7390.122 Mobile Safari/537.36 (compatible; Google-CloudVertexBot; +https://cloud.google.com/enterprise-search)

User-agent: Google-CloudVertexBot Disallow: /private-folder
中 ★meta-externalagent
MetaAI 训练
 Meta 用于收集公开网页内容的身份，内容可能用于模型训练等产品改进；与用户即时抓取身份区分。
参考目录 ↗ 		meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)

User-agent: meta-externalagent Disallow: /private-folder
中 ★meta-externalfetcher
Meta用户触发
 Meta 产品响应用户操作时读取外部网页的身份；不应据此推断网页已经进入训练集或搜索索引。
参考目录 ↗ ⚠️ 用户触发型，可能绕过 robots.txt。 		meta-externalfetcher/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)

User-agent: meta-externalfetcher Disallow: /private-folder
中 ★Meta-WebIndexer
MetaAI 搜索
 Meta 的网页索引抓取身份，为搜索与问答场景提供网页内容索引，区别于训练和用户即时请求。
参考目录 ↗ 		meta-webindexer/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)

User-agent: meta-webindexer Disallow: /private-folder
中 ★Amazonbot
AmazonAI 训练
 采集网页以改进 Amazon 产品与服务，内容可能用于 AI 模型训练；搜索和用户即时请求另有独立身份。
官方说明 ↗ 		Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot) Chrome/119.0.6045.214 Safari/537.36

User-agent: Amazonbot Disallow: /private-folder
中 ★Applebot
Apple传统搜索
 为 Apple 搜索与 Siri 等产品发现网页。是否允许已抓取内容用于基础模型训练，由 Applebot-Extended 另外控制。
参考目录 ↗ 		Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

User-agent: Applebot Disallow: /private-folder
中 ★Applebot-Extended
AppleAI 训练
 管理 Applebot 已抓取内容能否用于 Apple 基础模型训练的 robots.txt 标识；不产生独立 HTTP 请求。
参考目录 ↗ ℹ️ Token 型，不发起独立 HTTP 请求，仅作 robots.txt 控制。 		Applebot-Extended

User-agent: Applebot-Extended Disallow: /private-folder
中 ★QwenBot 非官方
阿里·通义千问其他用途
 社区资料记录的通义千问相关 UA，厂商身份与具体用途尚待确认。本工具仅测试这一 UA 声明的访问响应。
参考目录 ↗ ⚠️ 阿里无正式爬虫文档，UA 为社区流传，未验证。 		Mozilla/5.0 (compatible; QwenBot/1.0; +https://tongyi.aliyun.com/bot)

User-agent: QwenBot Disallow: /private-folder
中 ★ChatGLM-Spider 非官方
智谱AI其他用途
 日志观测到的智谱相关抓取身份，尚缺完整官方用途说明，不能直接认定为训练或搜索专用。
参考目录 ↗ ⚠️ UA 为日志观测所得，官方未正式确认。 		Mozilla/5.0 (compatible; ChatGLM-Spider/1.0; +https://chatglm.cn/)

User-agent: ChatGLM-Spider Disallow: /private-folder
中 ★MinimaxBot 非官方
MiniMaxAI 训练
 第三方目录记录的 MiniMax 训练相关抓取身份；身份与用途仍待官方确认，结果仅代表该 UA 的模拟访问。
参考目录 ↗ ⚠️ 第三方记录的实验性匹配，等待厂商确认。 		MinimaxBot

User-agent: MinimaxBot Disallow: /private-folder
中 ★Minimax-User 非官方
MiniMax用户触发
 第三方目录记录的 MiniMax 用户请求抓取身份；尚待官方确认，不代表真实 MiniMax 请求来源。
参考目录 ↗ ⚠️ 第三方记录的实验性匹配，等待厂商确认。 		Minimax-User

User-agent: Minimax-User Disallow: /private-folder
中 ★PetalBot 非官方
华为传统搜索
 华为 Petal Search 网页搜索爬虫；其与具体 AI 产品的关联仍需独立证据，不能把搜索抓取直接视为 AI 训练。
参考目录 ↗ 		Mozilla/5.0 (compatible;PetalBot;+https://webmaster.petalsearch.com/site/petalbot)

User-agent: PetalBot Disallow: /private-folder
中 ★Amzn-SearchBot
AmazonAI 搜索
 为 Amazon 与 Alexa 等产品的搜索体验发现网页。官方说明此身份不用于生成式模型训练。
官方说明 ↗ 		Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amzn-SearchBot/0.1) Chrome/131.0.0.0 Safari/537.36

User-agent: Amzn-SearchBot Disallow: /private-folder
中 ★Amzn-User
Amazon用户触发
 响应 Alexa 等产品用户的问题，实时获取网页信息。此类用户触发访问可能不遵循所有 robots.txt 指令。
官方说明 ↗ 		Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amzn-User/0.1) Chrome/131.0.0.0 Safari/537.36

User-agent: Amzn-User Disallow: /private-folder
中 MistralAI-Index
Mistral AIAI 搜索
 自动抓取网页以建立 Mistral 搜索索引，供用户问答检索；官方说明此身份不用于生成式模型训练。
官方说明 ↗ 		Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; MistralAI-Index/1.0; +https://docs.mistral.ai/robots)

User-agent: MistralAI-Index Disallow: /private-folder
中 MistralAI-Training
Mistral AIAI 训练
 收集可用于 Mistral 生成式模型训练的数据，不承担搜索建索引或用户实时问答抓取。
官方说明 ↗ 		Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; MistralAI-Training/1.0; +https://docs.mistral.ai/robots)

User-agent: MistralAI-Training Disallow: /private-folder
中 ★AI2Bot
Ai2AI 训练
 艾伦人工智能研究所的公开网页采集器，用于训练开放语言模型；可根据官方 UA 设置抓取偏好。
官方说明 ↗ 		Mozilla/5.0 (compatible) AI2Bot (+https://www.allenai.org/crawler)

User-agent: AI2Bot Disallow: /private-folder
中 ★HySpider
腾讯混元AI 训练
 腾讯混元用于基础模型训练资料采集的爬虫。官方支持按子域名设置 robots.txt 及 Crawl-delay。
官方说明 ↗ 		Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; HySpider/1.0; +https://hy.tencent.com/polices/hy-crawlers

User-agent: HySpider Disallow: /private-folder
中 ★ExaSearchBot
ExaAI 搜索
 建立 Exa 的网页搜索索引，支持检索与来源引用；用户主动要求获取网页时使用另一身份 ExaUser。
官方说明 ↗ ⚠️ 真实请求包含 HTTP 签名；本工具仅模拟 UA，不附加 Exa 的身份签名。 		Mozilla/5.0 (compatible; ExaSearchBot/1.0; +https://crawler.exa.ai/)

User-agent: ExaSearchBot Disallow: /private-folder
中 ★ExaUser
Exa用户触发
 在 Exa 用户主动请求某个网页时读取内容，与自动发现和索引网页的 ExaSearchBot 区分。
官方说明 ↗ ⚠️ 本工具仅模拟 UA，不代表通过了 Exa 的真实来源核验。 		Mozilla/5.0 (compatible; ExaUser/1.0; +https://crawler.exa.ai/exauser)

User-agent: ExaUser Disallow: /private-folder
中 ★FacebookBot 非官方
MetaAI 训练
 参考目录记录的 Meta 相关 AI 抓取身份，归为训练用途；身份与用途证据仍需结合实际来源核验。
参考目录 ↗ ⚠️ 依据第三方目录与观察记录收录，未作为已确认的官方完整 UA。 		FacebookBot

User-agent: FacebookBot Disallow: /private-folder
低优先级
低 MistralAI-User
Mistral AI用户触发
 响应 Mistral 用户的问题即时读取网页并提供来源；不用于自动建索引或生成式模型训练。
官方说明 ↗ 		Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; MistralAI-User/1.0; +https://docs.mistral.ai/robots)

User-agent: MistralAI-User Disallow: /private-folder
低 ★DuckAssistBot
DuckDuckGoAI 搜索
 为 DuckDuckGo 的 AI 回答获取网页内容与参考来源，与 DuckDuckBot 的通用搜索索引身份区分。
参考目录 ↗ 		DuckAssistBot/1.2; (+http://duckduckgo.com/duckassistbot.html)

User-agent: DuckAssistBot Disallow: /private-folder
低 ★OAI-AdsBot
OpenAI其他用途
 检查提交至 ChatGPT 的广告落地页安全性与相关性，不用于生成式基础模型训练，也不是全网搜索索引爬虫。
官方说明 ↗ 		Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot

User-agent: OAI-AdsBot Disallow: /private-folder
低 ★DuckDuckBot
DuckDuckGo传统搜索
 DuckDuckGo 的通用网页搜索索引爬虫；与为 AI 回答获取内容的 DuckAssistBot 分别设置规则。
官方说明 ↗ 		DuckDuckBot/1.1; (+http://duckduckgo.com/duckduckbot.html)

User-agent: DuckDuckBot Disallow: /private-folder
低 ★GoogleOther
Google其他用途
 Google 各产品团队使用的通用公开内容抓取器，例如内部研究任务；该名称不能证明某项特定 AI 用途。
官方说明 ↗ 		Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GoogleOther) Chrome/131.0.0.0 Safari/537.36

User-agent: GoogleOther Disallow: /private-folder

不仅如此，还会分析抓取时的状态：

  • HTTP 状态码（200、403、429 等）
  • robots.txt 合规性检查
  • Meta robots 标签分析（包括 noindex 检测）
  • 响应时间和性能指标

操作步骤

01

输入 URL

在输入框中输入要检查的网站 URL（支持带或不带 http/https 前缀）。

02

开始检查

点击"免费检测"按钮，系统将模拟各种 AI Bot 访问该网站。

03

查看结果

查看详细的检查结果，包括访问状态、robots.txt 规则、Meta 标签等。

04

分析优化

分析结果，了解你的网站对 AI Bot 的访问策略是否按预期工作，针对性优化。

常见问答

为什么需要检查 AI 爬虫访问？

现代大型网站通常采用多层安全系统。即使 AI 爬虫在 robots.txt 中被明确允许，它们仍可能在其他级别被阻止，如 CDN 级别阻止、防火墙规则、频率限制系统等。这造成了预期政策与实际访问之间的差距。所以检查 AI 爬虫访问，可以全方位分析 AI 爬虫抓取是否正常。

检查结果中的状态码代表什么？

200 表示可访问，403 表示被阻止，429 表示频率限制，404 表示页面不存在。这些状态码帮助你了解 AI 爬虫访问你网站时的具体遭遇。

robots.txt 和 meta robots 标签有什么区别？

robots.txt 是网站根目录下的文件，用于指导所有爬虫的访问规则；meta robots 标签是 HTML 页面中的标签，用于控制特定页面的索引和爬取行为。两者都很重要，需要配合使用。

如何根据检查结果优化网站？

如果发现 AI 爬虫被意外阻止，可以检查 CDN 设置、防火墙规则、频率限制等；如果希望 AI 爬虫访问，确保 robots.txt 和 meta 标签设置正确；如果希望阻止，可以明确设置相应的阻止规则。

爬虫的优先级（高/中/低）是怎么划分的？

高：主流 AI 搜索、聊天产品、基础模型训练，或在国内外具有较高抓取量的爬虫（如 GPTBot、ClaudeBot、CCBot、Kimi、Bytespider），建议默认检测；中：具有明确用途或覆盖重要生态，但流量、影响力或资料完整度相对较低（如 Meta、Amazon、Apple 系爬虫）；低：特定场景使用或补充覆盖（如 MistralAI-User、DuckAssistBot）。检测过程、结果展示和页面清单均按此优先级排序。

为什么 Google-Extended、Applebot-Extended 没有访问状态？

它们是 robots.txt 控制 token，不是真正发起 HTTP 请求的爬虫：Google-Extended 控制已抓取内容能否用于 Gemini / Vertex AI 训练，Applebot-Extended 控制 Applebot 抓取内容能否用于 Apple 基础模型训练。因此工具只检查 robots.txt 中是否存在对应规则，不做（也无法做）访问模拟。

哪些 AI 平台无法通过 User-Agent 检测？

以下平台不在 User-Agent 中标识自己，模拟 UA 的检测方式对它们无效，只能靠官方 IP 段识别：you.com、ChatGPT Operator（ChatGPT Agent 模式）、Bing Copilot chat、Grok（xAI 无公开爬虫 UA），以及各类 AI 浏览器（Perplexity Comet、ChatGPT Atlas 等，UA 与普通用户浏览器完全一致）。另外，MiniMax 官方尚未公布爬虫政策，工具内的 MinimaxBot / Minimax-User 为第三方记录的实验性匹配。

UA 检测结果完全可信吗？

有两点局限需要注意：① User-Agent 可以被伪造，仅凭 UA 无法确认请求一定来自对应厂商，如厂商提供官方 IP 清单，应结合 IP 或反向 DNS 验证；② 用户触发型抓取器（ChatGPT-User、Claude-User、Perplexity-User、Google-GeminiNotebook 等）可能忽略 robots.txt，即使 robots.txt 显示"禁止"，实际仍可能被访问。本工具反映的是"以该 UA 访问时服务器的真实响应"，适合排查 CDN / 防火墙误拦截等问题。

相关工具

查看全部 →
🔍
Query Fan-out
将单一搜索词扩展为多维度子查询，挖掘用户真实搜索意图，覆盖更多流量场景。
使用 →
🕷️
Googlebot 抓取上限检测
检测网页 HTML 大小是否超过 Googlebot 的 2MB 抓取上限，并细分展示各内容类型占比。
使用 →
💡
GEO 品牌问题生成器
输入品牌名，自动生成通用、行业、品牌专属 GEO 问题清单，助力品牌内容覆盖 AI 搜索场景。
使用 →
💬
AI 提示词模拟工具
输入一个词，模拟真实用户在 AI chat 中围绕它的提问语句，按认知/对比/决策/使用四阶段分组呈现，辅助 GEO 内容规划。
使用 →

相关文章

查看全部 →
GEO

「给 SEO 的 GEO 教程」篇一：GEO 目标怎么定

「给 SEO 的 GEO 教程」第一篇，结合我的思考和实践，聊聊为什么现在需要做 GEO，以及目标怎么定、效果怎么看。从曝光、引用到转化，结合内部监控、外部数据和用户反馈，再通过一个脱敏电商案例，帮助 SEO 同行搭建一套与业务目标对齐的 GEO 指标体系。

2026年10月27日 9 分钟阅读
SEO

SEO&GEO周报：Google 给排名工具投毒｜AI 公司开始打击 GEO 作弊｜PHP 漏洞影响 WordPress 站点 [2026-10-23]

本期 SEO&GEO 周报：Google 给排名追踪工具返回“投毒”结果页，排名暴跌可能是假数据，附自查方法；GPT-6 链接丢失 UTM 导致 ChatGPT 流量“腰斩”，10 月 15 日起已修复；Claude、DeepSeek、OpenAI 相继打击 GEO 作弊；PHP2Shell 漏洞影响 WordPress，下线时应返回 503；以及 Google 关于 …

2026年10月22日 6 分钟阅读
SEO

预测：Google 重大更新即将来临，从 SEO 规律看会打击什么？

Google 连续更新核心文档，9 月网络垃圾更新历时近两周，重大算法更新可能即将来临。本文从「SEO 循环」和「先更新文档、再上线算法」两条历史规律出发，预测下一次可能被打击的 6 类 SEO / GEO 方法，并给出 8 条应对建议。

2026年10月10日 11 分钟阅读
✉️

遇到问题或有使用建议？

工具仍在持续迭代中，如果你在使用过程中碰到了问题，或者有功能改进的想法，欢迎直接联系我。