DiagramPreview
基础解析无需 AI本地预览调试友好可导出

robots.txt 测试器

粘贴目标 URL 和 robots.txt 规则，预览 Allow/Disallow 决策、命中的规则组和 sitemap 声明。

示例
Robots 判定就绪
预览结果会显示在这里。

下一步可以继续

把当前预览结果带到相关工具里继续转换、排查或导出。

HTML 沙箱预览

在禁用脚本的沙箱中预览 HTML 组件、邮件片段和落地页区块。

打开
CSS 渐变预览

预览 CSS linear、radial、conic 和 repeating 渐变，并提取色标。

打开
Base64 图片预览

预览 Base64 图片字符串和 data URL，并分析 MIME 类型和体积。

打开

使用方法

  1. 1第一行写目标 URL，然后用 --- 分隔 robots.txt 内容。
  2. 2检查该 URL 对目标 user-agent 是允许还是禁止。
  3. 3发布前重点 review /、/api、/en、通配符等宽规则。
  4. 4最终生产行为还应通过 Search Console 或实际 crawler 工具确认。

常见场景

robots.txt QA技术 SEO review索引问题排查AI robots 片段校验上线检查清单

相关工具

HTML 沙箱预览

在禁用脚本的沙箱中预览 HTML 组件、邮件片段和落地页区块。

CSS 渐变预览

预览 CSS linear、radial、conic 和 repeating 渐变，并提取色标。

Base64 图片预览

预览 Base64 图片字符串和 data URL，并分析 MIME 类型和体积。

常见问题

最危险的 robots.txt 错误是什么？

过宽的 Disallow，例如 / 或 locale 前缀，会让重要页面即使在 sitemap 里也无法被抓取。

robots.txt 会让页面移出索引吗？

不会直接移除。它控制抓取，真正 deindex 应使用 noindex 或移除工具。

为什么要测试单个 URL？

具体 URL 能让宽规则和通配符行为更容易判断，而不是抽象阅读整份文件。

robots.txt Tester 会针对目标 URL 检查 Allow/Disallow 规则，适合技术 SEO 变更发布前 review。

当 AI、CMS 设置或手工编辑生成 robots 规则时，看起来简单的规则也可能误封工具页、文档、资源或多语言路由。

建议和 sitemap、Open Graph 预览一起用于重要页面提交索引前检查。

Demo：确认工具页可被抓取

工具站上线前，应从每个栏目选代表 URL 测试。一个宽规则就可能阻止页面抓取，即使 sitemap 正确。

  • 分别测试首页、工具页、博客页和资源 URL。
  • 避免误封 /en 或 /zh-CN 这类 locale 前缀。
  • 可以禁止 /api/，但不要误伤 /api-error-flow-diagram。
https://diagrampreview.com/en/mermaid-preview
---
User-agent: *
Allow: /
Disallow: /api/
Sitemap: https://diagrampreview.com/sitemap.xml

SEO 发布清单：用真实 URL 测试 robots 规则

robots.txt 不应该只靠肉眼读文件。工具站里 locale 前缀、像 API 的 slug、静态资源路径，都可能被宽规则误伤。

  • 提交 sitemap 前，每个主要目录至少测试一个 URL。
  • 可以按需禁止 /api/，但要确认公开 slug 没被误匹配。
  • 上线前把 robots、canonical、hreflang、sitemap 放在一起检查。
User-agent: *
Allow: /
Disallow: /api/
Sitemap: https://diagrampreview.com/sitemap.xml

robots.txt 测试器 检查清单

当你需要在文档、PR、故障复盘或交接材料发布前检查源码内容时，可以使用 robots.txt 测试器。针对目标 URL 测试 robots.txt 的 Allow 与 Disallow 规则。

导出前建议检查标签是否可读、关系是否和源码一致、示例是否包含敏感信息，以及修改输入后预览是否仍然成立。

限制与排查

如果预览失败，先把输入缩小到最小完整示例，确认格式语法，再逐段加回内容。很多失败来自不完整文件、缩进错误、缺少图表头，或复制了依赖隐藏上下文的片段。

请把预览结果当作 review 界面，而不是生产事实来源。生成的图表、转换文件、看板和规则示例在进入正式文档或运维流程前仍需要人工确认。

可测试的示例输入

  • Blog allowed: URL: https://example.com/blog/har-guide --- User-agent: * Disallow: /admin/ Allow: /blog/ Sitemap: https://example.com/sitemap.xml
  • Private blocked: URL: https://example.com/private/report --- User-agent: * Disallow: /private/ Allow: /private/public/
  • Sitemap rule: URL: /tools/jsonpath-tester --- User-agent: * Disallow: /api/ Allow: /tools/ Sitemap: https://example.com/sitemap.xml

工具完成度

基础解析

基础解析

这个工具偏向快速结构检查，适合预览、排查和定位问题；关键输出进入生产前仍需要人工复核。

分级不是质量打分，而是告诉用户当前工具更适合稳定导出、深度调试、快速解析，还是 AI 辅助生成。