ForHosting KIT · データ変換・整形

CSVの重複行を削除

Q: 表記が少し違う行も重複として検出されますか？

されません。 この機能はすべての項目が完全に一致する行だけを重複として扱います。表記の違いを考慮した検出には、別の機能をご利用ください。

CSVの重複行を削除し、それぞれ最初の1行を残します。例ではada@example.comが2回現れるため、Madridの行が残りBogotaの行が消え、重複のない行は2件になります。重複と判定する列は自分で選べます。ブラウザで無料で使えます。

無料
ブラウザで動作
登録不要
データは端末の外に出ません

無料で実行 API仕様を見る

ご利用方法ウェブAPIメールTelegramアプリ近日

計算例

入力した場合

列: 0

結果

重複を除いたCSV: correo,ciudad ada@example.com,Madrid luis@example.com,Lima
一意の行: 2
削除した重複行: 1

CSVファイル内で、全ての項目が完全に一致する行を見つけて削除する機能です。同じデータが重ねて登録された顧客リストや注文データを整理したいときに使います。

重複行はなぜ紛れ込むのか

重複は、誰かが同じ行をわざと2回入力したから生まれるわけではありません。同じファイルを誤って2回取り込んだとき、期間が重なる古い書き出しと新しい書き出しを合わせたとき、2つのツールで集めた顧客リストを統合したときに、ほぼ必ず入り込みます。放っておくと件数が膨らみ、集計やレポートが狂い、顧客リストなら同じ人に2回メールを送ることになります。このツールは各行を前の行と比べ、最初に現れた行だけを残します。

完全一致で比べるので、誤って統合しません

比較は完全一致です。そのため「Acme Inc.」と「ACME INC」は別の行として扱われます。表記ゆれを推測しないぶん、本当に同じ行だけがまとめられ、違う記録を誤って1つにすることはありません。大文字と小文字や余分な空白の違いで重複が隠れていそうなときは、先にデータを整えてから重複を削除するのが確実です。結果には残った行数と削除した行数が表示されるので、処理の前後をすぐに確かめられます。

完全一致とは

すべての列の内容が1文字も違わず一致する行を重複として扱います。全角と半角の違いや、スペースの有無など、わずかな表記の差がある行は重複として検出されません。

表記ゆれには対応しません

「株式会社山田商事」と「山田商事(株)」のように、表記は違うが内容が同じとみなせる行は、この機能では検出できません。表記の違いを踏まえた重複の検出には、別の機能をご利用ください。

活用例

複数回インポートした顧客リストを整理する

株式会社山田商事では、複数のシステムから取り込んだ際に重複した顧客リストを、この機能で完全一致の行だけ取り除いてから利用しています。

展示会で複数回登録された名刺データを整理する

伊藤さくらさんは、展示会で同じ相手の名刺を2回登録してしまったデータを、この機能で重複行として取り除いています。

同じ注文データが重なった履歴を整理する

合同会社みどりデザインでは、システム障害で二重に記録された注文履歴を、この機能で完全一致の重複を取り除いてから集計しています。

よくある質問

表記が少し違う行も重複として検出されますか？

されません。この機能はすべての項目が完全に一致する行だけを重複として扱います。表記の違いを考慮した検出には、別の機能をご利用ください。

重複が見つかった場合、どの行が残りますか？

最初に現れた行が残り、それ以降に現れた同じ内容の行が取り除かれます。

なぜ無料で使えるのですか？

処理がブラウザ内で完結するため、無料で提供しています。会員登録も不要です。

日本語のサポートはありますか？

申し訳ありませんが、日本語でのサポートは行っておりません。サポートは英語またはスペイン語で、担当者が直接対応します。ツール自体は日本語のデータでも問題なくご利用いただけます。

特定の列だけで重複を判定できますか？

はい、できます。判定に使う列を選ぶと、その列の値が前の行と同じ行だけが削除されます。メールアドレスの列を選べば、住所が少し違っていても同じアドレスの行は1件にまとまります。列を選ばない場合は行全体で比べます。

開発者向け — APIアクセス

このページの機能はすべてAPIからも利用できます。自社システムに組み込みたいチーム向けのセクションです。それ以外の方は上のツールをそのままお使いください。

エンドポイント

POSThttps://api.kit.forhosting.com/data/dedupe-csv

Bearerトークンで認証し、POST1回でタスクをキューに登録します。結果はWebhookまたは署名付きリンクで受け取れます。

お使いのスタックから呼び出す

curl -X POST https://api.kit.forhosting.com/data/dedupe-csv \
  -H "Authorization: Bearer $KIT_KEY" \
  -H "Content-Type: application/json" \
  -d '{"csv":"a,b\n1,2\n1,2"}'

const res = await fetch("https://api.kit.forhosting.com/data/dedupe-csv", {
  method: "POST",
  headers: {
    "Authorization": `Bearer ${process.env.KIT_KEY}`,
    "Content-Type": "application/json"
  },
  body: JSON.stringify({
    "csv": "a,b\n1,2\n1,2"
  })
});
const { task_id } = await res.json();

import os, requests

res = requests.post(
    "https://api.kit.forhosting.com/data/dedupe-csv",
    headers={"Authorization": f"Bearer {os.environ['KIT_KEY']}"},
    json={
    "csv": "a,b\n1,2\n1,2"
},
)
task_id = res.json()["task_id"]

<?php
$res = file_get_contents("https://api.kit.forhosting.com/data/dedupe-csv", false, stream_context_create([
  "http" => [
    "method"  => "POST",
    "header"  => "Authorization: Bearer " . getenv("KIT_KEY") . "\r\nContent-Type: application/json",
    "content" => '{"csv":"a,b\\n1,2\\n1,2"}',
  ],
]));
$task = json_decode($res, true);

body := bytes.NewBufferString(`{"csv":"a,b\n1,2\n1,2"}`)
req, _ := http.NewRequest("POST", "https://api.kit.forhosting.com/data/dedupe-csv", body)
req.Header.Set("Authorization", "Bearer "+os.Getenv("KIT_KEY"))
req.Header.Set("Content-Type", "application/json")
res, _ := http.DefaultClient.Do(req)

リクエスト例

{
  "csv": "a,b\n1,2\n1,2"
}

レスポンス例

{
  "task_id": "tsk_a1b2c3d4e5f6a1b2c3d4e5f6",
  "type": "data.dedupe_csv",
  "status": "queued",
  "_links": {
    "result": "/tasks/tsk_…/result"
  }
}

非同期APIです。task_idは即時に返ります。ポーリングは1秒あたり1リクエストまでです。

料金

1リクエストあたり$0.002

単価はすべて公開しています。トークン換算や独自クレジットはありません。失敗したタスクは課金されません。

制限

max_mb 25

エラー

HTTP	コード	意味
`401`	`unauthorized`	APIキーが無効か、指定されていません。Authorizationヘッダーを確認してください。
`402`	`insufficient_balance`	残高が不足しています。チャージ後に再度お試しください。
`404`	`unknown_type`	指定されたタスクタイプは存在しません。タイプ名を確認してください。
`429`	`rate_limited`	リクエストが多すぎます。しばらく待ってから再度お試しください。

技術的な注記

どの行が残るか

重複が見つかった場合は、最初に現れた行を残し、それ以降に現れた同じ内容の行を取り除きます。

対応できる範囲

ファイルサイズは25MBまで対応しています。

技術的な質問

アップロードしたファイルはどこに送信されますか

送信されません。処理はブラウザ内で完結します。

ファイルサイズに制限はありますか

25MBまでです。

自動化のための料金はいくらですか

1リクエスト$0.002（米ドル）です。

KITの完全なドキュメントを見る →