Duplikate & doppelte Zeilen entfernen · Online | DedupeLines
We noticed your browser language is English. Switch to the English version? Switch to English
DedupeLines
Kostenlos · keine Anmeldung Im Browser · keine Uploads · bis zu 100.000 Zeilen live

Doppelte Zeilen entfernen, online

Liste einfügen. Vier Regeln umschalten. Saubere Ausgabe mit der Reihenfolge, Groß-/Kleinschreibung und Leerzeichen, die du eigentlich willst. Gebaut für Datenteams, die liefern.

Eingabe · 0 Zeilen
Ausgabe · 0 Zeilen
Füge links etwas ein — die Ergebnisse erscheinen hier.

Oder Strg+Enter drücken

Eingabezeilen 0
Leerzeilen 0
Duplikatgruppen 0
Entfernt 0
Eindeutig übrig0

Was Leute hier bereinigen

04 — Anwendungsfälle
01 / E-Mail-Listen

Exporte aus CRM, Mailchimp oder HubSpot vor dem Import bereinigen — ohne deine Spaltenreihenfolge zu zerstören.

02 / SEO-Keywords

Große Keyword-Sheets prüfen, Duplikate kampagnenübergreifend finden, bevor sie live gehen.

03 / Datenbank-Importe

Duplikate aus CSV / TSV vor dem INSERT entfernen — unabhängig von Groß-/Kleinschreibung, mit Leerzeichen-Erkennung, bis zu 80 MB.

04 / Log-Triage

Wiederholte Stack-Traces und redundante Log-Zeilen zu einer sauberen, überschaubaren Liste zusammenfassen.

So funktioniert's

drei Schritte
  1. 01

    Liste einfügen oder .txt hochladen

    Live-Vorschau bis 100.000 Zeilen am Desktop / 5.000 am Handy. Größere Eingaben wechseln automatisch in den Großdatei-Modus — gleiche Engine, die Seite bleibt bedienbar und liefert einen .txt-Download.

  2. 02

    Die vier Regeln umschalten

    Groß-/Kleinschreibung: ABC und abc als gleich behandeln oder nicht. Leerzeichen kürzen: Leerzeichen am Anfang/Ende beim Vergleich ignorieren. Leerzeilen: Leere Zeilen weglassen. Mischen: Ausgabe nach der Duplikatentfernung zufällig anordnen.

  3. 03

    Auf „Ausführen" klicken

    Duplikate werden zu einer einzigen Zeile zusammengeführt; das erste Vorkommen bleibt. Die Ausgabekarte zeigt die bereinigte Liste in der ursprünglichen Reihenfolge.

Unter der Haube

Technische Hinweise
Algorithmus
O(n) Hash-Table-Dedup · Object.create(null) prototype-freie Map

Gesamtkomplexität O(n + u log u + s log s), wobei n = Eingabezeilen, u = eindeutige Zeilen, s = Ausgabelänge. Die frühere Version rief Object.keys(freqMap).length innerhalb der Per-Zeilen-Schleife auf — O(n²), 156.000 Zeilen brauchten 5 Minuten. Die aktuelle Implementierung bewältigt denselben Input in ~500 ms.

Schwellenwert-Split
Desktop: 2 MB / 100.000 Zeilen · Handy: 300 KB / 5.000 Zeilen · Hartlimit: 80 MB

Über dem Live-Schwellenwert geht die Eingabe nicht in die Textarea (browser-natives Word-Wrap ist O(n) beim Insert) — Verarbeitung wandert in einen Web Worker, die Seite bleibt interaktiv, du bekommst einen .txt-Download.

Reihenfolge erhalten
Index des ersten Vorkommens wird im Dedup-Pass aufgezeichnet

Excels „Duplikate entfernen" und Google Sheets UNIQUE() sortieren beide Spalten im Hintergrund neu — wir behalten die ursprüngliche Reihenfolge standardmäßig. Schalte „Mischen" ein, wenn du stattdessen eine Fisher-Yates-randomisierte Ausgabe willst.

Datenschutz & Grenzen

was wo bleibt

Alles läuft in deinem Browser. Die eingefügte Liste wird nie hochgeladen — die Seite macht keinen einzigen Netzwerk-Aufruf mit deinen Daten, und die Analytics-Schicht kann nicht sehen, was du eingetippt hast. Nach dem Laden kannst du dich vom Netz trennen, das Tool funktioniert weiter. 80 MB Hartlimit pro Lauf schützt vor versehentlichem Sperren des Tabs bei Multi-Gigabyte-Logs.

Häufig gefragt

beantwortet

Wird die Groß-/Kleinschreibung auch in der Ausgabe ignoriert?

Nein. Der Schalter für Groß-/Kleinschreibung beeinflusst nur den Vergleich — „Apple" und „APPLE" gelten als Duplikate, nur das erste bleibt, aber die behaltene Zeile bewahrt ihre Original-Schreibweise. Die Ausgabe wird nie kleingeschrieben.

Kann ich das LETZTE Vorkommen jedes Duplikats behalten statt das erste?

Ja — verkette zwei Tools. Schick deine Eingabe zuerst durch das Tool „Zeilen umkehren", füge die umgekehrte Liste dann in den Duplikatentferner ein. Du kannst die finale Ausgabe nochmal umkehren, wenn du die ursprüngliche Reihenfolge zurückwillst. Beide Schritte sind lokal, kein Upload.

Wie unterscheidet sich das von Excels „Duplikate entfernen"?

Drei Unterschiede: (1) wir laufen im Browser — von überall einfügen, ohne Excel zu öffnen, (2) wir behalten Groß-/Kleinschreibung und Leerzeichen exakt, während Excel manchmal Zellen automatisch „normalisiert", (3) Excels „Duplikate entfernen" sortiert die Spalte oft im Hintergrund neu; wir behalten standardmäßig die ursprüngliche Reihenfolge.

Funktioniert das mit CSV-Dateien, die Felder in Anführungszeichen mit Kommas enthalten?

Es behandelt jede Zeile als einzelnen String für den Vergleich — Felder in Anführungszeichen mit Kommas werden als Teil der ganzen Zeile abgeglichen. Wenn du Duplikatentfernung auf Spaltenebene brauchst („Zeilen entfernen, wo Spalte B übereinstimmt"), ist dieses Tool nicht das richtige — nutz Google Sheets UNIQUE() oder einen Power-Query-Schritt stattdessen.

Was ist das Dateigrößenlimit?

80 MB Hartlimit pro Lauf. Über 2 MB am Desktop (300 KB am Handy) wechselt das Tool in den Großdatei-Modus — dein Text geht nicht durch die Textarea, Verarbeitung läuft in einem Web Worker, das Ergebnis wird als .txt heruntergeladen statt in der Ausgabekarte angezeigt.

Werden meine Daten irgendwohin geschickt?

Nein. Die ganze Pipeline — einfügen, deduplizieren, anzeigen — läuft in diesem Browser-Tab. Es gibt keinen Upload-Schritt, und die Telemetrie-Schicht sieht nie, was du eingefügt hast. Trenn nach dem Laden das WLAN, und das Tool funktioniert weiter.