リストの重複行をオンラインで削除

1. 01

   リストを貼り付けるか .txt をアップロード

   デスクトップで 10 万行 / モバイルで 5,000 行までライブプレビュー。それを超える入力は自動で大容量モードに切替 — 同じエンジン、ページは反応し続け、.txt ダウンロードを返します。

2. 02

   4 つのルールを切り替え

   大文字小文字: ABC と abc を同一視するか。前後空白: 比較時に行頭末尾の空白を無視。空行: 空行を捨てる。シャッフル: 重複削除後の出力をランダム化。

3. 03

   実行を押す

   重複は 1 行に統合され、最初の出現が残ります。出力カードはクリーンなリストを元の順序で表示します。

アルゴリズム

O(n) ハッシュテーブル重複削除 · Object.create(null) によるプロトタイプなしマップ

全体計算量は O(n + u log u + s log s)（n = 入力行数、u = ユニーク行数、s = 出力長）。以前のバージョンは行ごとのループ内で Object.keys(freqMap).length を呼んでいた — O(n²) で 156K 行に 5 分かかっていました。現実装は同じ入力を約 500 ms で処理します。

しきい値の分岐

デスクトップ: 2 MB / 10 万行 · モバイル: 300 KB / 5K 行 · ハードリミット: 80 MB

ライブしきい値を超えると入力は textarea に入りません（ブラウザネイティブの word-wrap は挿入時に O(n)）— 処理は Web Worker に移り、ページは反応し続け、.txt ダウンロードを取得します。

順序の保持

重複削除パスで各行の初出インデックスを記録

Excel の「重複の削除」も Google Sheets の UNIQUE() も内部でカラムを再ソートしますが、当ツールはデフォルトで元の順序を保持します。ランダム順が欲しい場合はシャッフルをオンにすると Fisher-Yates で並び替えます。

すべてブラウザー内で実行。貼り付けたリストは決してアップロードされません — fetch も XHR も走らず、入力データはアナリティクスにも届きません。ページ読み込み後はネットを切断してもツールは動作。1 回あたり 80 MB のハードリミットで複数ギガバイトのログによるタブフリーズを防止。