| Check / チェック | Severity / 重要度 | Status / 状態 | $1
|---|
| ClaudeBot crawler access / ClaudeBot クローラーのアクセス | High / 高 | FAIL / 不合格 | verdict: mismatch; robots.txt: allowed; ClaudeBot status: 403; browser status: 200 |
| PerplexityBot crawler access / PerplexityBot クローラーのアクセス | High / 高 | PASS / 合格 | verdict: ok; robots.txt: allowed; PerplexityBot status: 200; browser status: 200 |
| OAI-SearchBot rules in robots.txt / robots.txt の OAI-SearchBot 向けルール | High / 高 | PASS / 合格 | User-agent: * group has no rule matching /. OAI-SearchBot (OpenAI, ChatGPT search results) is allowed. |
| ClaudeBot rules in robots.txt / robots.txt の ClaudeBot 向けルール | High / 高 | PASS / 合格 | User-agent: * group has no rule matching /. ClaudeBot (Anthropic, model training and retrieval) is allowed. |
| PerplexityBot rules in robots.txt / robots.txt の PerplexityBot 向けルール | High / 高 | PASS / 合格 | User-agent: * group has no rule matching /. PerplexityBot (Perplexity, Perplexity search index) is allowed. |
| Meta robots / meta robots | High / 高 | PASS / 合格 | Meta robots: robots=index, follow; robots=max-image-preview:large |
| X-Robots-Tag header / X-Robots-Tag ヘッダー | High / 高 | PASS / 合格 | No X-Robots-Tag header |
| AI-use directives / AI 利用に関する指定 | High / 高 | PASS / 合格 | no AI-use directives found in meta robots or X-Robots-Tag |
| HTTPS redirect / HTTPS リダイレクト | High / 高 | PASS / 合格 | http://guesthouse.example/ (301) → https://guesthouse.example/ (200) |
| robots.txt | Medium / 中 | PASS / 合格 | robots.txt found (HTTP 200). |
| Page title / ページタイトル | Medium / 中 | PASS / 合格 | Title (15 characters): "[business name withheld]" |
| Meta description / メタディスクリプション | Medium / 中 | FAIL / 不合格 | No meta description found |
| Canonical URL / canonical URL | Medium / 中 | PASS / 合格 | Canonical matches page URL: https://guesthouse.example/ |
| hreflang | Medium / 中 | WARN / 注意 | no x-default (found: ja, en) |
| JSON-LD structured data / JSON-LD 構造化データ | Medium / 中 | WARN / 注意 | No JSON-LD structured data found |
| Canonical consistency / canonical の整合性 | Medium / 中 | PASS / 合格 | Canonical https://guesthouse.example/ is absolute and self-referencing. |
| hreflang return links / hreflang の相互リンク | Medium / 中 | WARN / 注意 | 1 of 2 alternate(s) fail: en https://guesthouse.example/en/: no hreflang link back to https://guesthouse.example/ |
| Sitemap / サイトマップ | Medium / 中 | PASS / 合格 | sitemapindex with 4 <loc> entries. |
| Sitemap directive in robots.txt / robots.txt の Sitemap 指定 | Medium / 中 | PASS / 合格 | robots.txt declares 1 Sitemap line(s). |
| Sitemap freshness / サイトマップの鮮度 | Medium / 中 | UNKNOWN / 未確認 | No URL entries found in the sitemap. |
| Dead links in the sitemap / サイトマップ内のリンク切れ | Medium / 中 | UNKNOWN / 未確認 | Sampled 0 URL(s); none could be fetched. |
| GPTBot rules in robots.txt / robots.txt の GPTBot 向けルール | Low / 低 | PASS / 合格 | User-agent: * group has no rule matching /. GPTBot (OpenAI, model training) is allowed. |
| anthropic-ai rules in robots.txt / robots.txt の anthropic-ai 向けルール | Low / 低 | PASS / 合格 | User-agent: * group has no rule matching /. anthropic-ai (Anthropic, legacy training crawler token) is allowed. |
| Google-Extended rules in robots.txt / robots.txt の Google-Extended 向けルール | Low / 低 | PASS / 合格 | User-agent: * group has no rule matching /. Google-Extended (Google, Gemini training and grounding opt-out) is allowed. |
| Applebot-Extended rules in robots.txt / robots.txt の Applebot-Extended 向けルール | Low / 低 | PASS / 合格 | User-agent: * group has no rule matching /. Applebot-Extended (Apple, Apple AI training opt-out) is allowed. |
| CCBot rules in robots.txt / robots.txt の CCBot 向けルール | Low / 低 | PASS / 合格 | User-agent: * group has no rule matching /. CCBot (Common Crawl, open web corpus used for model training) is allowed. |
| Bytespider rules in robots.txt / robots.txt の Bytespider 向けルール | Low / 低 | PASS / 合格 | User-agent: * group has no rule matching /. Bytespider (ByteDance, model training) is allowed. |
| llms.txt | Low / 低 | WARN / 注意 | /llms.txt returned 404. The file is optional and not a ranking guarantee. |
$2
$1
- ClaudeBot crawler access / ClaudeBot クローラーのアクセス — FAIL / 不合格, Severity / 重要度: High / 高
Evidence / 根拠: verdict: mismatch; robots.txt: allowed; ClaudeBot status: 403; browser status: 200
EN: Whether ClaudeBot is allowed by robots.txt and whether the server answers it normally. Fix: Allow ClaudeBot in robots.txt if you want it to read the site, and make sure the server and CDN do not block or challenge its user agent.
JA: ClaudeBot が robots.txt で許可されているか、サーバーが通常どおり応答するかを確認します。対応: ClaudeBot に読み取らせたい場合は robots.txt で許可し、サーバーや CDN がそのユーザーエージェントをブロック・チャレンジしないようにしてください。
- GPTBot crawler access / GPTBot クローラーのアクセス — FAIL / 不合格, Severity / 重要度: High / 高
Evidence / 根拠: verdict: mismatch; robots.txt: allowed; GPTBot status: 403; browser status: 200
EN: Whether GPTBot is allowed by robots.txt and whether the server answers it normally. Fix: Allow GPTBot in robots.txt if you want it to read the site, and make sure the server and CDN do not block or challenge its user agent.
JA: GPTBot が robots.txt で許可されているか、サーバーが通常どおり応答するかを確認します。対応: GPTBot に読み取らせたい場合は robots.txt で許可し、サーバーや CDN がそのユーザーエージェントをブロック・チャレンジしないようにしてください。
- Meta description / メタディスクリプション — FAIL / 不合格, Severity / 重要度: Medium / 中
Evidence / 根拠: No meta description found
EN: The meta description summarises the page for search snippets and previews. Fix: Add a concise <meta name="description"> of roughly 50-160 characters.
JA: メタディスクリプションは、検索結果やプレビューでページを要約します。対応: <meta name="description"> を 50〜160 文字程度で簡潔に設定してください。
- hreflang / hreflang — WARN / 注意, Severity / 重要度: Medium / 中
Evidence / 根拠: no x-default (found: ja, en)
EN: hreflang links tell crawlers which language versions of the page exist. Fix: Add reciprocal <link rel="alternate" hreflang="..."> tags (including x-default) for each language version.
JA: hreflang リンクは、ページにどの言語版があるかをクローラーに伝えます。対応: 各言語版について、相互に参照する <link rel="alternate" hreflang="...">(x-default を含む)を追加してください。
- hreflang return links / hreflang の相互リンク — WARN / 注意, Severity / 重要度: Medium / 中
Evidence / 根拠: 1 of 2 alternate(s) fail: en https://guesthouse.example/en/: no hreflang link back to https://guesthouse.example/
EN: If a language version does not link back to this page, crawlers may ignore the pairing. Fix: Make each hreflang alternate an absolute URL whose page links back to this page with hreflang.
JA: 言語版からこのページへのリンクが戻っていないと、クローラーが言語版の対応を無視することがあります。対応: 各hreflang代替URLは絶対URLにし、そのページからもこのページへhreflangで相互リンクしてください。
- JSON-LD structured data / JSON-LD 構造化データ — WARN / 注意, Severity / 重要度: Medium / 中
Evidence / 根拠: No JSON-LD structured data found
EN: JSON-LD gives machine-readable facts about the organisation, product or page. Fix: Add valid JSON-LD (e.g. Organization or Product) whose values match the visible page.
JA: JSON-LD は、組織・商品・ページに関する機械可読な情報を提供します。対応: 表示内容と一致する有効な JSON-LD(Organization や Product など)を追加してください。
- llms.txt / llms.txt — WARN / 注意, Severity / 重要度: Low / 低
Evidence / 根拠: /llms.txt returned 404. The file is optional and not a ranking guarantee.
EN: llms.txt is an emerging convention: a plain-text guide to the site for language models. Fix: Optionally publish /llms.txt with a short description and links to key pages. Its effect is not established.
JA: llms.txt は新しい慣習で、言語モデル向けにサイトを案内するテキストファイルです。対応: 必要に応じて、概要と主要ページへのリンクを記した /llms.txt を公開してください。効果は確立していません。
Order: Severity High to Low; within a severity, FAIL before WARN. 並び順:重要度の高い順、同じ重要度では不合格が注意より先。
$2
- No AI engine (ChatGPT, Claude, Perplexity, Gemini or any other) was queried.
- Whether, or how, the site appears in AI answers or search results was not measured.
- Only the page you gave was read in full. Besides it, only robots.txt, llms.txt, the sitemap, up to 5 language versions and the status of up to 20 sampled sitemap URLs were fetched; no other page was audited.
- JavaScript was not executed, so content that scripts add after the page loads was not seen.
- Requests used crawler user agents from an ordinary server, not the crawlers' own IP addresses, so blocking based on IP address may behave differently for the real crawlers.
- Content quality and accuracy, page speed and links from other sites were not assessed.
- Pages behind a login, a paywall or a bot challenge were checked only by the status they returned.
この監査で確認していないこと
- ChatGPT・Claude・Perplexity・Gemini などの AI エンジンには一切問い合わせていません。
- AI の回答や検索結果にサイトが表示されるか、どう表示されるかは測定していません。
- 内容まで読んだのは、指定されたページだけです。ほかに取得したのは robots.txt・llms.txt・サイトマップ・最大 5 件の言語版と、サイトマップから抜き出した最大 20 件の URL のステータスのみで、それ以外のページは監査していません。
- JavaScript は実行していないため、ページの読み込み後にスクリプトが追加する内容は確認していません。
- リクエストは通常のサーバーからクローラーのユーザーエージェントを名乗って送ったもので、クローラー本来の IP アドレスからではありません。そのため、IP アドレスに基づくブロックは実際のクローラーに対して異なる結果になる場合があります。
- コンテンツの質や正確さ、表示速度、他サイトからのリンクは評価していません。
- ログインやペイウォール、ボット確認の画面の先にあるページは、返ってきたステータスしか確認していません。
Caveats / 注意事項
- The probes are a one-time snapshot taken from a single network location.
- Servers or CDNs may treat real crawler IPs differently from a request that only spoofs a crawler user agent.
- Status
unknown means the check could not be completed; it is neither a pass nor a fail.
- llms.txt is an emerging convention with no guaranteed effect.
- This audit does not and cannot measure rankings, citations or visibility inside AI answers.
- 調査は 1 つのネットワーク拠点から行った一度きりのスナップショットです。
- サーバーや CDN は、実際のクローラーの IP と、ユーザーエージェントを偽装しただけのリクエストとを区別して扱う場合があります。
- ステータス
unknown(未確認)は、チェックを完了できなかったことを意味します。合格でも不合格でもありません。
- llms.txt は新しい慣習であり、効果は保証されません。
- 本監査は、AI の回答内での順位・引用・表示状況を測定しておらず、測定することもできません。
For a site that passes every check, see our own site. 全項目に合格する例は自社サイトをご覧ください。
ミニ診断(9,800円)について / Order the mini audit