ForHosting KIT · サイト取得・監視

記事本文だけを抽出

約400語の記事が、4,000語もの余計な部分に埋もれていることはよくあります。このツールは記事だけを取り出し、題名、分かる場合は著者と日付、本文を整った文章で返します。メニューやコメント、広告は残しません。月額契約は不要で、使った分だけのお支払いです。

● 安定提供中URLあたり$0.040

実行 — $0.040 + $0.001/URL API仕様を見る

ご利用方法ウェブAPIメールTelegramアプリ近日

オンラインで実行

アカウントでログインし、当社のサーバー上で実行します。無料ツールはブラウザ内で動作しますが、これは上記の料金がKIT残高から差し引かれます。

KITはニュースサイトやブログの記事ページから、広告やナビゲーションを除いた本文部分だけを抽出するツールです。記事を要約したり、あとで読み返すために保存したりしたい担当者向けに使えます。

記事より周りのほうが長いページ

ニュース記事の本文はおよそ400語でも、ページ全体には関連記事の一覧、コメント欄、購読の案内、いくつもの広告などで4,000語ほどの飾りが付いていることがあります。ブラウザの読み取りモードが生まれたのは、ページが広告収入や滞在時間に合わせて作られ、ただ最後まで読みたい人のためには作られていないからです。クッキーの案内、自動再生の動画、果てしなく続く関連記事などで、そのままの記事ページはむしろ年々にぎやかになっています。このツールは、そうしたページから記事そのものだけを取り出します。

本文の見つけ方と役立つ場面

まずページを表示し、あとから読み込まれる内容も取りこぼさないようにします。そのうえで、文字の密度やタグの並び方、記事によく使われる構造といった手がかりを使い、本文の部分をナビゲーション、サイドバー、コメント、関連記事から切り分けます。結果は題名、分かる場合は著者と公開日、そして本文に分かれます。この考え方は、初期のブラウザの読み取りモードや、記事を読みやすくするための古い仕組みにさかのぼります。毎日いくつものニュースサイトから記事を集めて要約する、元のサイトが変わっても読めるよう記事を保存する、出版社ごとに作りの違う記事をそろった形で集める、調査のために出典の本文を集める、といった場面で役立ちます。

テキスト全体抽出との違い

ページ内のテキストをすべて取り出す方法とは異なり、記事の本文と判断される部分だけを抽出します。広告やサイドバー、ナビゲーションメニューの文言は取り除かれます。

完全に除去できるとは限らない

サイトの構造によっては、広告やおすすめ記事の文言が一部残る場合があります。抽出結果は目安として扱い、重要な用途では内容を確認することをおすすめします。

活用例

競合メディアの記事保存

編集担当の伊藤さくらが、競合メディアの記事本文だけを保存し、自社の企画会議の資料にしている。

プレスリリースの要約準備

広報担当の高橋恵子が、複数のプレスリリース記事の本文をまとめて抽出し、要約AIに読み込ませている。

参考記事の保存

個人事業主の田中大輔が、あとで読み返したい記事の本文だけを保存し、広告なしで読める形にしている。

よくある質問

広告が完全に消えることは保証されますか？

サイトの構造によっては、広告やおすすめ記事の文言が一部残る場合があります。目安としてご利用ください。

テキスト全体を取り出す機能と何が違いますか？

ナビゲーションや広告を除いた、記事の本文と判断される部分だけを抽出します。

日本語のサポートはありますか？

申し訳ありませんが、日本語でのサポートは行っておりません。サポートは英語またはスペイン語で、担当者が直接対応します。ツール自体は日本語で問題なくご利用いただけます。

著者名や公開日も取り出せますか？

ページに書かれていれば取り出せます。結果は題名、著者、公開日、本文に分かれて返り、本文は整ったテキストか簡単なMarkdownになります。書かれていない項目は空のままです。

あとから読み込まれる記事にも対応していますか？

はい。ページを先に表示してから本文を探すため、スクロールなどであとから読み込まれる部分も取りこぼしにくくなっています。そのうえで、ナビゲーションや関連記事を本文から切り分けます。

開発者向け — APIアクセス

このページの機能はすべてAPIからも利用できます。自社システムに組み込みたいチーム向けのセクションです。それ以外の方は上のツールをそのままお使いください。

エンドポイント

POSThttps://api.kit.forhosting.com/web/article

Bearerトークンで認証し、POST1回でタスクをキューに登録します。結果はWebhookまたは署名付きリンクで受け取れます。

お使いのスタックから呼び出す

curl -X POST https://api.kit.forhosting.com/web/article \
  -H "Authorization: Bearer $KIT_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url":"https://example.com"}'

const res = await fetch("https://api.kit.forhosting.com/web/article", {
  method: "POST",
  headers: {
    "Authorization": `Bearer ${process.env.KIT_KEY}`,
    "Content-Type": "application/json"
  },
  body: JSON.stringify({
    "url": "https://example.com"
  })
});
const { task_id } = await res.json();

import os, requests

res = requests.post(
    "https://api.kit.forhosting.com/web/article",
    headers={"Authorization": f"Bearer {os.environ['KIT_KEY']}"},
    json={
    "url": "https://example.com"
},
)
task_id = res.json()["task_id"]

<?php
$res = file_get_contents("https://api.kit.forhosting.com/web/article", false, stream_context_create([
  "http" => [
    "method"  => "POST",
    "header"  => "Authorization: Bearer " . getenv("KIT_KEY") . "\r\nContent-Type: application/json",
    "content" => '{"url":"https://example.com"}',
  ],
]));
$task = json_decode($res, true);

body := bytes.NewBufferString(`{"url":"https://example.com"}`)
req, _ := http.NewRequest("POST", "https://api.kit.forhosting.com/web/article", body)
req.Header.Set("Authorization", "Bearer "+os.Getenv("KIT_KEY"))
req.Header.Set("Content-Type", "application/json")
res, _ := http.DefaultClient.Do(req)

リクエスト例

{
  "url": "https://example.com"
}

レスポンス例

{
  "task_id": "tsk_a1b2c3d4e5f6a1b2c3d4e5f6",
  "type": "web.article",
  "status": "queued",
  "_links": {
    "result": "/tasks/tsk_…/result"
  }
}

非同期APIです。task_idは即時に返ります。ポーリングは1秒あたり1リクエストまでです。

料金

1リクエストあたり$0.040

URLあたり$0.001

単価はすべて公開しています。トークン換算や独自クレジットはありません。失敗したタスクは課金されません。

制限

`timeout_sec`	30
`max_crawl_pages`	25

エラー

HTTP	コード	意味
`401`	`unauthorized`	APIキーが無効か、指定されていません。Authorizationヘッダーを確認してください。
`402`	`insufficient_balance`	残高が不足しています。チャージ後に再度お試しください。
`404`	`unknown_type`	指定されたタスクタイプは存在しません。タイプ名を確認してください。
`429`	`rate_limited`	リクエストが多すぎます。しばらく待ってから再度お試しください。
`422`	`task_failed`	タスクの処理に失敗しました。このタスクは課金されません。

技術的な注記

要約AIへの読み込みでの使い道

抽出した本文を要約AIや文章生成AIに読み込ませることで、広告文言に惑わされずに記事の内容だけを処理できます。

料金と制限

有料会員限定の記事など、ログインが必要なページは取得できません。$0.040の基本料金に$0.001の処理料金を加えた金額で、他のブラウザ実行系の機能と同じ体系です。

技術的な質問

有料会員限定の記事も取得できますか。

できません。ログインが必要なページは対象外です。

取得した記事の内容はどう扱われますか。

抽出処理にのみ使用し、それ以外の目的では利用しません。

料金はどうなっていますか。

$0.040の基本料金に、処理件数1件ごとの$0.001を加えた金額です。

KITの完全なドキュメントを見る →