DiagramPreview
基礎解析無需 AI本機預覽除錯友好可匯出

robots.txt 測試器

貼上 robots.txt 測試器 內容,在瀏覽器內產生可檢查的本機預覽,適合除錯設定、API 回應、SEO 技術檔與 AI 生成片段。

範例
Robots 判定就緒
預覽結果會顯示在這裡。

下一步可以繼續

把目前預覽結果帶到相關工具,繼續轉換、排查或匯出。

HTML 沙箱預覽

在停用腳本的沙箱中預覽 HTML 元件、郵件片段和落地頁區塊。

開啟
CSS 漸層預覽

預覽 CSS linear、radial、conic 和 repeating 漸層,並提取色標。

開啟
Base64 圖片預覽

預覽 Base64 圖片字串和 data URL,並分析 MIME 類型和大小。

開啟

使用方法

  1. 1第一行写目标 URL,然后用 --- 分隔 robots.txt 内容。
  2. 2检查该 URL 对目标 user-agent 是允许还是禁止。
  3. 3发布前重点 review /、/api、/en、通配符等宽规则。
  4. 4最终生产行为还应通过 Search Console 或实际 crawler 工具确认。

常見場景

robots.txt QA技术 SEO review索引问题排查AI robots 片段校验上线检查清单

常見問題

最危险的 robots.txt 错误是什么?

过宽的 Disallow,例如 / 或 locale 前缀,会让重要页面即使在 sitemap 里也无法被抓取。

robots.txt 会让页面移出索引吗?

不会直接移除。它控制抓取,真正 deindex 应使用 noindex 或移除工具。

为什么要测试单个 URL?

具体 URL 能让宽规则和通配符行为更容易判断,而不是抽象阅读整份文件。

robots.txt Tester 会针对目标 URL 检查 Allow/Disallow 规则,适合技术 SEO 变更发布前 review。

当 AI、CMS 设置或手工编辑生成 robots 规则时,看起来简单的规则也可能误封工具页、文档、资源或多语言路由。

建议和 sitemap、Open Graph 预览一起用于重要页面提交索引前检查。

Demo:确认工具页可被抓取

工具站上线前,应从每个栏目选代表 URL 测试。一个宽规则就可能阻止页面抓取,即使 sitemap 正确。

  • 分别测试首页、工具页、博客页和资源 URL。
  • 避免误封 /en 或 /zh-CN 这类 locale 前缀。
  • 可以禁止 /api/,但不要误伤 /api-error-flow-diagram。
https://diagrampreview.com/en/mermaid-preview
---
User-agent: *
Allow: /
Disallow: /api/
Sitemap: https://diagrampreview.com/sitemap.xml

SEO 发布清单:用真实 URL 测试 robots 规则

robots.txt 不应该只靠肉眼读文件。工具站里 locale 前缀、像 API 的 slug、静态资源路径,都可能被宽规则误伤。

  • 提交 sitemap 前,每个主要目录至少测试一个 URL。
  • 可以按需禁止 /api/,但要确认公开 slug 没被误匹配。
  • 上线前把 robots、canonical、hreflang、sitemap 放在一起检查。
User-agent: *
Allow: /
Disallow: /api/
Sitemap: https://diagrampreview.com/sitemap.xml

robots.txt 測試器 檢查清單

當你需要在文件、PR、事故復盤或交接材料發布前檢查原始內容時,可以使用 robots.txt 測試器。針對目標 URL 測試 robots.txt 的 Allow 與 Disallow 規則。

匯出前建議檢查標籤是否可讀、關係是否和原始內容一致、範例是否包含敏感資訊,以及修改輸入後預覽是否仍然成立。

限制與排查

如果預覽失敗,先把輸入縮小到最小完整範例,確認格式語法,再逐段加回內容。

請把預覽結果視為 review 介面,而不是正式事實來源。進入文件或維運流程前仍需要人工確認。

可測試的範例輸入

  • Blog allowed: URL: https://example.com/blog/har-guide --- User-agent: * Disallow: /admin/ Allow: /blog/ Sitemap: https://example.com/sitemap.xml
  • Private blocked: URL: https://example.com/private/report --- User-agent: * Disallow: /private/ Allow: /private/public/
  • Sitemap rule: URL: /tools/jsonpath-tester --- User-agent: * Disallow: /api/ Allow: /tools/ Sitemap: https://example.com/sitemap.xml

工具完成度

基礎解析

基礎解析

此工具偏向快速結構檢查,適合預覽、排查與定位問題;關鍵輸出進入正式流程前仍需人工複核。

分級不是品質分數,而是說明目前工具更適合穩定匯出、深度除錯、快速解析,或 AI 輔助生成。