DiagramPreview
기본 파서No AILocal previewDebuggingExport

robots.txt 테스터

robots.txt 테스터 내용을 붙여 넣고 설정, API 응답, SEO 파일, AI 생성 스니펫을 점검할 수 있는 로컬 미리보기를 생성합니다.

예제
Robots decision준비됨
Your preview will appear here.

관련 도구로 계속하기

현재 미리보기를 가까운 워크플로로 옮겨 변환, 디버깅 또는 내보내기를 계속하세요.

HTML 샌드박스 미리보기

Preview HTML components, email snippets, and landing sections in a script-blocked sandbox.

열기
CSS 그라디언트 미리보기

Preview CSS linear, radial, conic, and repeating gradients with extracted color stops.

열기
Base64 이미지 미리보기

Preview Base64 image strings and data URLs with MIME type and size analysis.

열기

사용 방법

  1. 1Put the target URL on the first line, then add --- and the robots.txt content.
  2. 2Check whether the URL is allowed or disallowed for the relevant user-agent.
  3. 3Review broad Disallow rules such as /, /api, /en, or wildcard paths before publishing.
  4. 4Confirm production behavior with Search Console or the crawler tools you rely on.

사용 사례

robots.txt QATechnical SEO reviewIndexing issue debuggingAI robots snippet validationLaunch checklist

FAQ

What robots.txt mistake is most dangerous?

A broad Disallow such as / or a locale prefix can block important pages from crawling even when the sitemap lists them.

Does robots.txt remove indexed pages?

Not directly. It controls crawling. Use noindex or removal tools when you need deindexing behavior.

Why test a single URL?

A specific URL test makes broad rules and wildcard behavior easier to reason about than reading the file abstractly.

robots.txt Tester checks Allow and Disallow rules for a target URL so technical SEO changes can be reviewed before deployment.

It is useful when AI, CMS settings, or manual edits produce robots rules that look simple but accidentally block tool pages, docs, assets, or localized routes.

Use it together with sitemap and Open Graph preview checks before submitting important pages for indexing.

Demo: make sure tool pages are crawlable

Before launching a tool site, test representative URLs from each section. A single broad rule can block pages even when sitemap.xml is correct.

  • Test home, tool, blog, and asset URLs separately.
  • Avoid blocking locale prefixes such as /en or /zh-CN by accident.
  • Disallow /api/ without blocking documentation paths such as /api-error-flow-diagram.
https://diagrampreview.com/en/mermaid-preview
---
User-agent: *
Allow: /
Disallow: /api/
Sitemap: https://diagrampreview.com/sitemap.xml

SEO release checklist: test robots rules with real URLs

robots.txt should be reviewed with concrete URLs, not only by reading the file. Locale prefixes, API-looking slugs, and static asset paths are easy to block accidentally on a tool site.

  • Test one page from each major directory before submitting a sitemap.
  • Keep /api/ blocked if needed, but verify similar public slugs are not matched by mistake.
  • Pair robots checks with canonical, hreflang, and sitemap checks for launch review.
User-agent: *
Allow: /
Disallow: /api/
Sitemap: https://diagrampreview.com/sitemap.xml

robots.txt 테스터 검토 체크리스트

문서, PR, 장애 회고, 인수인계 전에 소스 내용을 시각적으로 확인할 때 robots.txt 테스터을 사용할 수 있습니다. robots.txt 테스터: 이 소스를 로컬에서 미리보고 디버깅합니다.

내보내기 전 라벨 가독성, 관계 정확성, 민감 정보 포함 여부, 입력 수정 후 미리보기 일관성을 확인하세요.

제한과 문제 해결

미리보기가 실패하면 입력을 가장 작은 완전한 예제로 줄이고 문법을 확인한 뒤 섹션을 다시 추가하세요.

미리보기는 검토 화면이지 사실의 원천은 아닙니다. 중요한 결과는 사람이 확인해야 합니다.

테스트할 예제 입력

  • Blog allowed: URL: https://example.com/blog/har-guide --- User-agent: * Disallow: /admin/ Allow: /blog/ Sitemap: https://example.com/sitemap.xml
  • Private blocked: URL: https://example.com/private/report --- User-agent: * Disallow: /private/ Allow: /private/public/
  • Sitemap rule: URL: /tools/jsonpath-tester --- User-agent: * Disallow: /api/ Allow: /tools/ Sitemap: https://example.com/sitemap.xml

도구 완성도

기본 파서

기본 파서

이 도구는 빠른 구조 점검에 초점을 둡니다. 리뷰와 디버깅에 사용하고 중요한 결과는 별도로 검증하세요.

라벨은 안정적인 내보내기, 깊은 디버깅, 빠른 파싱, AI 보조 생성 중 어디에 더 적합한지 알려줍니다.