ForHosting KIT · SEOツール

robots.txtで重要なページを閉じていませんか

robots.txtが実際に何を拒否しているかが分かります。テスト環境の「Disallow: /」が1行残るだけで、サイト全体が閉ざされることもあります。クローラーごとのルールを読み、パスごとに判定と原因の行を示し、サイトマップとの矛盾も指摘します。定額契約は不要です。

● 安定提供中ドメインあたり$0.002

実行 — $0.002 API仕様を見る

ご利用方法ウェブAPIメールTelegramアプリ近日

オンラインで実行

アカウントでログインし、当社のサーバー上で実行します。無料ツールはブラウザ内で動作しますが、これは上記の料金がKIT残高から差し引かれます。

ドメインを指定するとrobots.txtを取得し、記述内容を解析する機能です。誤ってクロールを拒否している範囲や、サイトマップの記載漏れを確認できます。

1行の誤りがサイトの一部を閉ざします

robots.txtの仕組みは1994年に提案されて以来、わずかな命令だけの単純な書き方のままです。その単純さが危険でもあります。テスト環境から持ち込まれた全体拒否の1行、狭いはずのルールを広げてしまうスラッシュ、より具体的な許可のルールとの順番の誤りなどが、公開中のサイトの一部を検索結果から静かに消してしまいます。主要なクローラーはそれぞれの周期でこのファイルを読みに来るため、誤りは誰かが確認するまで何日も続くことがあります。

クロールの制御とインデックスは別のものです

robots.txtが決めるのはクロールだけで、インデックスまでは決めません。拒否したURLでも、ほかのページからリンクされていれば、説明文なしで検索結果に出ることがあります。そのため、noindexの代わりに拒否のルールを使っても期待どおりにはなりません。また、同じファイルの最後に書いたサイトマップに、上のルールで拒否しているURLが載っているという矛盾もよく見られます。公開前にテスト環境のファイルを確認し、反映後にもう一度確かめる習慣が安全です。

確認できること

Disallowで指定されている範囲、User-agentごとの設定の違い、サイトマップの記載有無を一覧で示します。誤って重要なディレクトリを閉じていないかを確認できます。

仕組み

ドメインを渡すと、そのドメインのrobots.txtをサーバー側で取得して解析します。実在するファイルの内容をそのまま読み取るため、記述の意図しない解釈違いを防げます。

活用例

本番公開直後の確認

合同会社みどりデザインでは、クライアントサイトを公開した直後にこの機能でrobots.txtを確認し、開発用の全拒否設定が残っていないかをチェックしています。

サイトマップ記載の確認

株式会社山田商事のWeb担当は、robots.txtにサイトマップのURLが正しく記載されているかを定期的に確認しています。

検索エンジンごとの設定確認

フリーランスの山本翔太さんは、特定の検索エンジンにのみ意図せずクロールを制限していないかを、この機能で確認しています。

よくある質問

解析のためにアクセスすると、サイトに負荷はかかりますか？

robots.txtファイル1件を取得するだけの軽いアクセスで、サイトに負担をかける設計にはなっていません。

非公開のドメインも解析できますか？

インターネット上に公開されているドメインが対象です。社内ネットワークなど外部からアクセスできないドメインは解析できません。

なぜ利用ごとの支払いなのですか？

ドメインへアクセスして取得・解析する処理のため、実行のたびに費用が発生します。アカウント登録や月額の契約は不要です。

日本語のサポートはありますか？

申し訳ありませんが、日本語でのサポートは行っておりません。サポートは英語またはスペイン語で、担当者が直接対応します。日本語サイトの解析には問題なくご利用いただけます。

robots.txtが存在しない場合はどうなりますか？

ファイルが存在しない旨を結果として返します。存在しない場合、一般的にはすべてのページがクロール可能と解釈されます。

開発者向け — APIアクセス

このページの機能はすべてAPIからも利用できます。自社システムに組み込みたいチーム向けのセクションです。それ以外の方は上のツールをそのままお使いください。

エンドポイント

POSThttps://api.kit.forhosting.com/seo/robots-analyze

Bearerトークンで認証し、POST1回でタスクをキューに登録します。結果はWebhookまたは署名付きリンクで受け取れます。

お使いのスタックから呼び出す

curl -X POST https://api.kit.forhosting.com/seo/robots-analyze \
  -H "Authorization: Bearer $KIT_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url":"https://example.com"}'

const res = await fetch("https://api.kit.forhosting.com/seo/robots-analyze", {
  method: "POST",
  headers: {
    "Authorization": `Bearer ${process.env.KIT_KEY}`,
    "Content-Type": "application/json"
  },
  body: JSON.stringify({
    "url": "https://example.com"
  })
});
const { task_id } = await res.json();

import os, requests

res = requests.post(
    "https://api.kit.forhosting.com/seo/robots-analyze",
    headers={"Authorization": f"Bearer {os.environ['KIT_KEY']}"},
    json={
    "url": "https://example.com"
},
)
task_id = res.json()["task_id"]

<?php
$res = file_get_contents("https://api.kit.forhosting.com/seo/robots-analyze", false, stream_context_create([
  "http" => [
    "method"  => "POST",
    "header"  => "Authorization: Bearer " . getenv("KIT_KEY") . "\r\nContent-Type: application/json",
    "content" => '{"url":"https://example.com"}',
  ],
]));
$task = json_decode($res, true);

body := bytes.NewBufferString(`{"url":"https://example.com"}`)
req, _ := http.NewRequest("POST", "https://api.kit.forhosting.com/seo/robots-analyze", body)
req.Header.Set("Authorization", "Bearer "+os.Getenv("KIT_KEY"))
req.Header.Set("Content-Type", "application/json")
res, _ := http.DefaultClient.Do(req)

リクエスト例

{
  "url": "https://example.com"
}

レスポンス例

{
  "task_id": "tsk_a1b2c3d4e5f6a1b2c3d4e5f6",
  "type": "seo.robots_analyze",
  "status": "queued",
  "_links": {
    "result": "/tasks/tsk_…/result"
  }
}

非同期APIです。task_idは即時に返ります。ポーリングは1秒あたり1リクエストまでです。

料金

1リクエストあたり$0.002

単価はすべて公開しています。トークン換算や独自クレジットはありません。失敗したタスクは課金されません。

エラー

HTTP	コード	意味
`401`	`unauthorized`	APIキーが無効か、指定されていません。Authorizationヘッダーを確認してください。
`402`	`insufficient_balance`	残高が不足しています。チャージ後に再度お試しください。
`404`	`unknown_type`	指定されたタスクタイプは存在しません。タイプ名を確認してください。
`429`	`rate_limited`	リクエストが多すぎます。しばらく待ってから再度お試しください。

技術的な注記

よくある設定ミス

開発中に全体を閉じたDisallow: /の設定が本番公開後もそのまま残っている、特定の検索エンジンだけを誤って拒否しているといったミスが典型的です。

向いている場面

サイト公開直後の確認や、開発環境から本番環境への切り替え後のチェックに向いています。

技術的な質問

料金はいくらですか？

1リクエストあたり$0.002です。ドメインの規模による追加料金はありません。

KITの完全なドキュメントを見る →