SEO 技术流网站重构上线：新增 Googlebot 抓取上限检测 + 13年博文全整合

因为之前的服务器商跑路(VKVM😒)，导致 bestwaytool 这个工具站完全丢失，借着恢复的机会，我把网站做了个彻底的重构，样式更好看，功能也升级，现在还算挺满意😄

网站地址：www.zhidaow.com

加入了新工具 - Googlebot 抓取上限检测

Google 在 2026-02-06 更新了官方文档，确认 Googlebot 在爬取用于 Google Search 的网页时，只处理每个支持文件类型的前 2MB 解压缩内容。这个限制适用于 HTML、CSS、JavaScript 等文件（PDF 为 64MB），超出部分不会被用于索引。

因此，可用本工具进行免费网页检测，检测网页大小是否超过了 Googlebot 的抓取上限。

Google 官方原文如下：

在为 Google 搜索进行抓取时，Googlebot 会抓取受支持的文件类型中的前 2MB 内容，以及 PDF 文件中的前 64MB 内容。从渲染的角度来看，HTML 中引用的每个资源（例如 CSS 和 JavaScript）都是独立抓取的，并且每次资源抓取都受到与其他文件（PDF 文件除外）相同的严格文件大小限制。

工具地址：https://www.zhidaow.com/tools/googlebot-crawl-limit-checker/

检测成功时显示：

检测异常时显示：

另外，所有工具也做了精简，去掉了一些使用较少的工具，仅保留了AI 查询扩展 Query Fan-out、AI 爬虫抓取验证工具；功能也做了优化，换成了千问 Qwen，速度会更快。

完整的博文内容 - 始于 2013 年

可能少数朋友知道，我最早是在个人网站更新的（就是这个域名 zhidaow.com），后来公众号崛起，再加上那个网站系统也无人维护，慢慢都转移到了公众号。

这次我把目前公众号的文章，以及之前网站的文章都整理汇总过来。可能很多信息都已经过时，一些思路还是有价值。

而且对我来讲，也都是从业、学习、生活的历程。

网站重构过程

最开始比较头疼，可一旦开了头就很上头，连续倒腾了一星期，晚上还在完善细节。整体实现大概是这样：

• 样式：Claude 设计
• 开发：Cursor 的 AI coding
• 后台：使用了 Python Django
• AI：千问 Qwen
• 图片存储：阿里云 OSS

其中还加入了 AI 智能功能，算是个亮点。比如：

• 工具的 AI 智能实现，比如 AI 查询扩展 Query Fan-out 是借助 AI 对关键词进行分析和扩展
• 博客 URL 和 Description 借助 AI 智能实现，这 2 个字段我都是借助 AI 直接生成，并不需要手工填写
• 更不要说网站整体的开发和实现了，比如 AI 爬虫抓取验证工具，我只需要描述功能，逻辑，AI 就帮我实现整体功能、文案和样式

计划

工具方面有 2 个功能在准备：

• 整体 SEO/GEO 检查：对网站整体进行 SEO 和 GEO 的检查诊断，定位当前问题，并给出初步解决方案
• SEO 深度分析：包含流量趋势、关键词细分、品牌流量占比、频道细分、竞手对比等

主要是把日常的分析和诊断工作进行产品化，毕竟我发现 AI 不光效率高，分析也比我写得好🥲

敬请期待❤️。

最后

• 关于域名的选用。虽然老域名的语义并不明显，而且也荒了几年，但我还是选择了老域名，因为能覆盖工具和博客的主题（bestwaytool.com 太偏工具），而且意外发现 Zac 老师还给了个友情链接❤️

• 问题和改进。网站仍属于新上线，难免存在一些问题，欢迎多提意见，可以在文章中留言，也可以用邮件联系我。非常感谢🙏