ForHosting KIT · サイト取得・監視

JSONスキーマ指定でWebページを抽出

必須の項目、値の種類、入れ子の一覧など、必要な形を正確に決めておくと、その形と照合済みのデータを受け取れます。商品なら、バリエーションごとの価格とサイズが決まった位置に入って返ります。データベースに取り込むデータ向けです。利用ごとのお支払いです。

● 安定提供中URLあたり$0.046

実行 — $0.046 + $0.0145/URL API仕様を見る

ご利用方法ウェブAPIメールTelegramアプリ近日

オンラインで実行

アカウントでログインし、当社のサーバー上で実行します。無料ツールはブラウザ内で動作しますが、これは上記の料金がKIT残高から差し引かれます。

抽出結果の形式を固定して、後続のシステムにそのまま取り込みたい担当者向けに使えます。

取り出したデータをシステムに合わせる必要があるとき

1回きりの抽出なら、多少ばらついた結果でも困りません。しかし、取り出したデータをデータベースの列や取り込み処理、別のプログラムに渡し始めると話は変わります。数値を期待している所に価格が文字として届いたり、あるはずの項目が欠けていたりすると、その不具合はずっと後になって、原因から離れた場所で表に出ます。このツールでは読み取りの前に、どの項目が必須か、それぞれの値の種類、許される値、まとまりの入れ子の形など、必要な形を正確に決めておきます。

届く前に照合されます

ページはその構造を目標として取得・読み取りされ、結果は届ける前に同じ構造と照合されます。システムに入るのは、書いた取り決めにぴったり合うデータです。形の崩れた結果は、データベースの中で見つかるのではなく、抽出の段階で止まります。入れ子のデータも一度で扱え、価格とサイズを持つバリエーションの一覧を含む商品が、照合済みの完全な形で返ります。読み取り方を補う指示を追加することもできます。

AI抽出との違い

項目を自由に指示する別の機能とは異なり、出力の形式そのものを固定できるのが特徴です。データベースへの取り込みや、既存システムの入力形式に合わせたい場合に向いています。

該当データがない場合

指定した項目に該当するデータがページ内に見つからない場合、その項目はnullとして返されます。エラーにはならず、処理は続行されます。

活用例

取引先サイトの情報取得

情報システム担当の高橋恵子が、取引先サイトの公開情報を社内システムの入力形式に合わせたスキーマで取得している。

複数サイトの横断比較

データ分析担当の鈴木美咲が、調査対象の複数サイトから同じ項目を同じ形式で抽出し、比較表を作成している。

よくある質問

該当するデータが見つからない場合はどうなりますか？

その項目はnullとして返され、処理はエラーにならず続行されます。

AIが判断して抽出する機能との違いは何ですか？

こちらは出力の形式(項目名と型)をあらかじめ固定できる点が異なります。システムへの取り込みに向いています。

日本語のサポートはありますか？

申し訳ありませんが、日本語でのサポートは行っておりません。サポートは英語またはスペイン語で、担当者が直接対応します。ツール自体は日本語で問題なくご利用いただけます。

複数のバリエーションを持つ商品のような、入れ子のデータも取り出せますか？

はい、取り出せます。価格とサイズを持つバリエーションの一覧を含む商品を定義すれば、全体が一度にまとまって返り、指定した構造との照合もすでに済んでいます。

構造では何を決められますか？

どの項目が必須か、各項目の値が文字か整数かといった種類、決まった選択肢の中から選ぶ値、そして項目のまとまりをどのように入れ子にするかを決められます。

結果は必ず指定した構造どおりになりますか？

はい。結果は届ける前に、指定したものと同じ構造で照合されます。届くのは書いた取り決めどおりのデータで、形の崩れた結果はシステムに入る前のこの段階で止められます。

開発者向け — APIアクセス

このページの機能はすべてAPIからも利用できます。自社システムに組み込みたいチーム向けのセクションです。それ以外の方は上のツールをそのままお使いください。

エンドポイント

POSThttps://api.kit.forhosting.com/web/scrape-schema

Bearerトークンで認証し、POST1回でタスクをキューに登録します。結果はWebhookまたは署名付きリンクで受け取れます。

お使いのスタックから呼び出す

curl -X POST https://api.kit.forhosting.com/web/scrape-schema \
  -H "Authorization: Bearer $KIT_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url":"https://example.com"}'

const res = await fetch("https://api.kit.forhosting.com/web/scrape-schema", {
  method: "POST",
  headers: {
    "Authorization": `Bearer ${process.env.KIT_KEY}`,
    "Content-Type": "application/json"
  },
  body: JSON.stringify({
    "url": "https://example.com"
  })
});
const { task_id } = await res.json();

import os, requests

res = requests.post(
    "https://api.kit.forhosting.com/web/scrape-schema",
    headers={"Authorization": f"Bearer {os.environ['KIT_KEY']}"},
    json={
    "url": "https://example.com"
},
)
task_id = res.json()["task_id"]

<?php
$res = file_get_contents("https://api.kit.forhosting.com/web/scrape-schema", false, stream_context_create([
  "http" => [
    "method"  => "POST",
    "header"  => "Authorization: Bearer " . getenv("KIT_KEY") . "\r\nContent-Type: application/json",
    "content" => '{"url":"https://example.com"}',
  ],
]));
$task = json_decode($res, true);

body := bytes.NewBufferString(`{"url":"https://example.com"}`)
req, _ := http.NewRequest("POST", "https://api.kit.forhosting.com/web/scrape-schema", body)
req.Header.Set("Authorization", "Bearer "+os.Getenv("KIT_KEY"))
req.Header.Set("Content-Type", "application/json")
res, _ := http.DefaultClient.Do(req)

リクエスト例

{
  "url": "https://example.com"
}

レスポンス例

{
  "task_id": "tsk_a1b2c3d4e5f6a1b2c3d4e5f6",
  "type": "web.scrape_schema",
  "status": "queued",
  "_links": {
    "result": "/tasks/tsk_…/result"
  }
}

非同期APIです。task_idは即時に返ります。ポーリングは1秒あたり1リクエストまでです。

料金

1リクエストあたり$0.046

URLあたり$0.0145

単価はすべて公開しています。トークン換算や独自クレジットはありません。失敗したタスクは課金されません。

制限

`timeout_sec`	30
`max_crawl_pages`	25

エラー

HTTP	コード	意味
`401`	`unauthorized`	APIキーが無効か、指定されていません。Authorizationヘッダーを確認してください。
`402`	`insufficient_balance`	残高が不足しています。チャージ後に再度お試しください。
`404`	`unknown_type`	指定されたタスクタイプは存在しません。タイプ名を確認してください。
`429`	`rate_limited`	リクエストが多すぎます。しばらく待ってから再度お試しください。
`422`	`task_failed`	タスクの処理に失敗しました。このタスクは課金されません。

技術的な注記

KITはJSONスキーマで項目名と型をあらかじめ指定し、その形式に沿ってWebページからデータを抽出するツールです。

スキーマとは何を指定するのか

指定した通りの構造でデータが返されるため、ページごとに出力形式がばらつくことがありません。抽出したい項目の名前と型(文字列、数値など)をJSON形式で指定します。

料金と制限

処理は30秒以内に完了する必要があります。ブラウザでの描画とAIによる抽出を組み合わせるため、料金は1リクエストあたり$0.046（米ドル）に1件$0.0145を加えた金額です。

連携の活用例

商品データのDB取り込み

開発者の佐藤健一が、複数の仕入れ先サイトから同じJSON形式で商品データを抽出し、そのまま社内のデータベースに取り込んでいる。

技術的な質問

スキーマはどのように指定しますか。

抽出したい項目の名前と型をJSON形式で指定します。指定した構造でデータが返されます。

他社サイトを対象にしても問題ありませんか。

対象サイトの利用規約に従ってご利用ください。

料金体系を教えてください。

1リクエストあたり$0.046に、処理件数1件ごと$0.0145を加えた金額です。

KITの完全なドキュメントを見る →