編集長ブログ―安田英久

ソート&重複削除オンラインツール : メールリストやテキストの重複行を一発削除

テキストを貼り付けてボタンを押すだけで、重複行を削除してくれるサービスです

複数の項目が入ったテキストファイルから、重複している行を削除したいときはありませんか? そんなときに、ブラウザ上でボタン1つでソート(並べ替え)したうえで重複行を削除してくれるツールです。

メールアドレス一覧から重複を取り除いたり、キーワード一覧を整理したり、いろいろとお使いください。

※大量のテキストを貼り付けるとブラウザが一時的に固まったり、貼り付け後におかしな場所にスクロールしたりします。

このプログラムは、すべてブラウザ側だけで動作します。そのため、以下のような特徴や注意点があります。

  • 入力されたデータは外部には一切送信しません。ただし、あなたがブラウザにインストールした拡張機能やアドオンがどういう動作をするかは、私にはわかりません。また、クラッシュ時のレポート送信機能でデータが送信される場合もあるかもしれません。

  • 処理できるテキストのサイズに制限は設けていません。ただし、あまりにも大量のデータを処理しようとすると、あなたのブラウザが固まった状態が続いたり、メモリが足りなくなったりする場合がありますので、ご注意ください。

    テストでは、150万行程度までは動作しましたが、200万行程度になるとブラウザがクラッシュする場合もありました。

    元のテキストファイルのサイズが64Mバイト程度までは動作するようですが、サイズが大きくなればなるほど、動作が遅くなります。

まぁ、ぶっちゃけ「Excel使えばいいんじゃ?」というものなんですが、個人的にExcelの重さが苦手で、特に何も考えずに貼り付けたときにおかしな文字列変換がされるところも苦手なので、JavaScriptの勉強がてら作ってみました。

開発者なら簡単なことも、そうでなければちょっと面倒

テキストファイルの並べ替え(ソート)や重複削除(ユニーク)は、開発者なら、実は簡単なんですよね。

Linux系OSならコマンドラインで「sort」「uniq」というプログラムを使えますし、WindowsでもPowerShellを使えば同様のことができます。

でも、開発者でないと、ちょっとした重複削除も面倒になってしまいます。手軽に重複削除できるツールがオンラインになかったので、作ってみました。

大量のデータならExcelで並べ替え・重複削除が楽

とはいうものの、今なら大量データの並べ替えや重複削除には、Excelの機能を使うのがベストです。

というのも、作ってはみたものの、データ量が多くなるとブラウザのtextareaへの貼り付けや出力が異様に遅くなったためです。

昔はExcelで扱える行数に限界があったのですが、今のExcelは百万行ほどでも扱えますので、だいたいの場合は問題ないでしょう。

Excelで行う場合、次のようにするのが良いでしょう。

  1. Excelで新しい新しく空白のブックを作成する。

  2. [データ]リボンの[外部データの取り込み]にある[テキストファイル]をクリックし、読み込みたいファイルを選ぶ。

  3. テキスト ファイル ウィザードの3ページ目で「列のデータ形式」に[文字列]を指定して読み込む。

  4. 並べ替えをしたい場合は、[データ]リボンの[並べ替えとフィルター]にある[並べ替え]ボタンをクリックします。

  5. 重複を削除したい場合は、[データ]リボンの[データ ツール]にある[重複の削除]ボタンををクリックします。

何か不具合などありましたら、コメント欄でお知らせくださいませ。

この記事が役に立ったらシェア!
tweet31はてなブックマークに追加
みんなが読んでるWeb担メルマガで、あなたも最新情報をチェック
  • SEOやアクセス解析のなどノウハウをゲット
  • 事例やインタビューも見逃さない
  • 要チェックのセミナー情報も届く
  • 編集長コラムを一足先に読める

日本赤十字社 東日本大震災 義援金募集
みんなが読んでるWeb担メルマガで、あなたも最新情報をチェック
  • SEOやアクセス解析のなどノウハウをゲット
  • 事例やインタビューも見逃さない
  • 要チェックのセミナー情報も届く
  • 編集長コラムを一足先に読める

Web業界の転職情報

もっと見る
Sponsored by

今日の用語

EMD
EMDは「Exact Match Domains」の略で、「完全一致ドメイン名」 ... →用語集へ

連載/特集コーナーから探す

インフォメーション

Web担のメルマガを購読しませんか?
Web担の記事がコンパクトに毎週届くメールマガジン「Web担ウィークリー」は、10万人が読んでいる人気メルマガ。忙しいあなたの情報収集力をアップさせる強い味方で、お得な情報もいち早く入手できます。

Web担に広告を掲載しませんか?
購読者数10万人のメールマガジン広告をはじめとする広告サービスで、御社の認知向上やセミナー集客を強力にお手伝いいたします。

サイトマップ
RSSフィード


Web担を応援して支えてくださっている企業さま [各サービス/製品の紹介はこちらから]

GOLD SPONSOR
さくらインターネット株式会社株式会社KDDI ウェブコミュニケーションズ株式会社日本レジストリサービスオープンテキスト株式会社トランスコスモス株式会社株式会社ハイパーボックスDomain Keeper株式会社ブレインパッド
SPONSOR
株式会社キノトロープ株式会社アイレップ株式会社ニューズ・ツー・ユーシックス・アパート株式会社ウェブアンテナ株式会社サイバーエージェント富士通株式会社Sitecore