DiagramPreview
基本パーサーNo AILocal previewDebuggingExport

robots.txt テスター

robots.txt テスター の内容を貼り付け、設定、API レスポンス、SEO ファイル、AI 生成スニペットを確認できるローカルプレビューを生成します。

サンプル
Robots decision準備完了
Your preview will appear here.

関連ツールで続ける

このプレビューを近いワークフローに移して、変換、デバッグ、エクスポートを続けます。

HTML サンドボックスプレビュー

Preview HTML components, email snippets, and landing sections in a script-blocked sandbox.

開く
CSS グラデーションプレビュー

Preview CSS linear, radial, conic, and repeating gradients with extracted color stops.

開く
Base64 画像プレビュー

Preview Base64 image strings and data URLs with MIME type and size analysis.

開く

使い方

  1. 1Put the target URL on the first line, then add --- and the robots.txt content.
  2. 2Check whether the URL is allowed or disallowed for the relevant user-agent.
  3. 3Review broad Disallow rules such as /, /api, /en, or wildcard paths before publishing.
  4. 4Confirm production behavior with Search Console or the crawler tools you rely on.

主な用途

robots.txt QATechnical SEO reviewIndexing issue debuggingAI robots snippet validationLaunch checklist

FAQ

What robots.txt mistake is most dangerous?

A broad Disallow such as / or a locale prefix can block important pages from crawling even when the sitemap lists them.

Does robots.txt remove indexed pages?

Not directly. It controls crawling. Use noindex or removal tools when you need deindexing behavior.

Why test a single URL?

A specific URL test makes broad rules and wildcard behavior easier to reason about than reading the file abstractly.

robots.txt Tester checks Allow and Disallow rules for a target URL so technical SEO changes can be reviewed before deployment.

It is useful when AI, CMS settings, or manual edits produce robots rules that look simple but accidentally block tool pages, docs, assets, or localized routes.

Use it together with sitemap and Open Graph preview checks before submitting important pages for indexing.

Demo: make sure tool pages are crawlable

Before launching a tool site, test representative URLs from each section. A single broad rule can block pages even when sitemap.xml is correct.

  • Test home, tool, blog, and asset URLs separately.
  • Avoid blocking locale prefixes such as /en or /zh-CN by accident.
  • Disallow /api/ without blocking documentation paths such as /api-error-flow-diagram.
https://diagrampreview.com/en/mermaid-preview
---
User-agent: *
Allow: /
Disallow: /api/
Sitemap: https://diagrampreview.com/sitemap.xml

SEO release checklist: test robots rules with real URLs

robots.txt should be reviewed with concrete URLs, not only by reading the file. Locale prefixes, API-looking slugs, and static asset paths are easy to block accidentally on a tool site.

  • Test one page from each major directory before submitting a sitemap.
  • Keep /api/ blocked if needed, but verify similar public slugs are not matched by mistake.
  • Pair robots checks with canonical, hreflang, and sitemap checks for launch review.
User-agent: *
Allow: /
Disallow: /api/
Sitemap: https://diagrampreview.com/sitemap.xml

robots.txt テスター のレビューチェックリスト

ドキュメント、PR、障害メモ、引き継ぎの前にソースを視覚的に確認する場合は robots.txt テスター を使えます。robots.txt テスター: このソースをローカルでプレビューして確認します。

エクスポート前に、ラベルの読みやすさ、関係の正しさ、機密情報の有無、編集後のプレビュー整合性を確認してください。

制限とトラブルシュート

プレビューに失敗したら、入力を最小の完全な例に縮小し、構文を確認してから少しずつ戻してください。

プレビューはレビュー面であり、唯一の正解ではありません。重要な出力は人が確認してください。

試せるサンプル入力

  • Blog allowed: URL: https://example.com/blog/har-guide --- User-agent: * Disallow: /admin/ Allow: /blog/ Sitemap: https://example.com/sitemap.xml
  • Private blocked: URL: https://example.com/private/report --- User-agent: * Disallow: /private/ Allow: /private/public/
  • Sitemap rule: URL: /tools/jsonpath-tester --- User-agent: * Disallow: /api/ Allow: /tools/ Sitemap: https://example.com/sitemap.xml

ツール成熟度

基本パーサー

基本パーサー

このツールは素早い構造確認向けです。レビューやデバッグに使い、重要な出力は別途検証してください。

ラベルは、安定エクスポート、深いデバッグ、素早い解析、AI 支援生成のどれに向くかを示します。