Doppelte Zeilen entfernen

Wann du eine Liste ohne Duplikate brauchst

Duplikate schleichen sich überall ein: E-Mail-Listen, die aus mehreren Tabellen zusammengeführt wurden (mit dem Risiko, denselben Newsletter zweimal zu verschicken), SEO-Keyword-Listen, Rabattcodes, Artikelnummern im Lager, aus einer CSV-Datei exportierte Spalten. Dieses Tool behält immer das erste Vorkommen jeder Zeile, sodass sich die ursprüngliche Reihenfolge deiner Liste nie ändert; nur die späteren Wiederholungen fallen weg. Leerzeilen zählen nie als Duplikate und bleiben, wo sie sind: Um sie zu entfernen, gibt es das Kästchen „Leerzeilen entfernen“.

Groß- und Kleinschreibung: wann du sie ignorieren solltest

Bei E-Mail-Adressen schaltest du die Option am besten ein: [email protected] und [email protected] sind dasselbe Postfach und sollten daher als Duplikate zählen. Bei Produktcodes, Passwörtern oder technischen Kennungen kann die Schreibweise dagegen eine Rolle spielen: Lass das Kästchen dann leer. In jedem Fall behält die verbleibende Zeile ihre ursprüngliche Schreibweise, völlig unverändert.

Die Duplikate, die ein Computer nicht sieht

Zwei Zeilen können gleich aussehen, ohne es zu sein. Der häufigste Fall ist ein unsichtbares Leerzeichen am Anfang oder am Ende, und das zählt hier nicht: Diese Leerzeichen werden beim Vergleich ignoriert, zusammen mit den unsichtbaren Zeichen ohne Breite, die sich beim Kopieren manchmal einschleichen, und die verbleibende Zeile wird genau so geschrieben, wie du sie eingefügt hast. Doppelte Leerzeichen in der Mitte und ein Tab anstelle eines Leerzeichens zählen dagegen, weil sie manchmal zu den Daten gehören: Wenn sie nicht zählen sollen, kreuze zusätzlich „Überflüssige Leerzeichen entfernen“ an, das vor dem Vergleich ausgeführt wird.

Die andere Falle sind Zeichen, die einander ähneln: der gerade und der typografische Apostroph, der Bindestrich und der Gedankenstrich, das lateinische „a“ und das kyrillische. Für das Auge ist es dieselbe Zeile, für einen Vergleich sind es zwei verschiedene, und keine noch so große Aufmerksamkeit kann sie auseinanderhalten. Buchstaben mit Akzent, die auf zwei Arten geschrieben sind, also das ganze „é“ oder ein „e“ mit einem separaten Akzent, wie es beim Kopieren von Dateinamen vom Mac passiert, werden dagegen als gleich behandelt.

Groß- und Kleinschreibung und Akzente: Es kommt auf die Daten an

Bei E-Mail-Adressen spielt die Groß- und Kleinschreibung nach dem At-Zeichen keine Rolle, daher sind [email protected] und [email protected] dasselbe Postfach und sollten zusammengeführt werden. Bei einem Passwort oder einem Code dagegen zählt die Schreibweise, und das Zusammenführen würde die Daten zerstören.

Bei Akzenten ist es fast immer besser zu unterscheiden: „schon“ und „schön“ sind verschiedene Wörter. Die Ausnahme sind Namenslisten, die von verschiedenen Personen eingetippt wurden und in denen „Rene“ und „René“ fast sicher dieselbe Person sind: Da ist die Wahl nicht technisch, sondern eine Entscheidung darüber, was die Liste enthält.

Duplikate zu entfernen ist nicht immer das Ziel

Manchmal lautet die eigentliche Frage, welche Zeilen sich wiederholen und wie oft, und nicht, wie man sie verschwinden lässt: In einer Liste von Bestellungen ist ein Duplikat ein Fehler, den man verstehen und nicht verstecken sollte. Wer es löscht, bevor er es angesehen hat, verliert die nützlichste Information.

Es lohnt sich auch zu entscheiden, welche Kopie du behältst: die erste oder die letzte. Tragen die Zeilen ein Datum oder eine laufende Nummer, ist meist die letzte die richtige Version; ist die Liste ein chronologisches Protokoll, die erste. Bei identischen Zeilen macht das keinen Unterschied, bei ähnlichen schon.

Mehrere Bereinigungen auf einmal, in fester Reihenfolge

Unter dem Feld findest du alle zehn Bereinigungen dieser Tool-Familie und kannst so viele davon ankreuzen, wie du willst: Auf jeder Seite ist die eigene schon angekreuzt. Das Programm ist auf allen zehn Seiten dasselbe, deshalb liefert derselbe Text mit denselben Kästchen dasselbe Ergebnis, egal auf welcher Seite du ihn einfügst.

Die Reihenfolge hängt nicht davon ab, welche Kästchen du ankreuzt, und entspricht der Reihenfolge, in der du sie siehst: zuerst die Zeichen (Emojis, Akzente, Zahlen, Satzzeichen), dann die Leerräume innerhalb jeder Zeile (Tabs, Einrückung, überflüssige Leerzeichen), dann ganze Zeilen (leere und doppelte) und ganz zum Schluss das Zusammenfügen zu einer einzigen Zeile. Eine Zeile, die nach dem Entfernen der Emojis leer bleibt, verschwindet also mit den Leerzeilen, und zwei Zeilen, die nach dem Entfernen der Leerzeichen gleich sind, zählen als doppelt.

Die Schwesterseiten, auf denen jeweils das eigene Kästchen schon angekreuzt ist: Doppelte Leerzeichen entfernen, Einrückung entfernen, Leerzeilen entfernen, Emojis entfernen, Akzente entfernen, Satzzeichen entfernen, Zahlen entfernen, Text in eine Zeile und Tabs in Leerzeichen.

Siehe auch

Um die Liste vorher oder nachher zu sortieren, gibt es Zeilen sortieren, und wie lang sie ist, zeigt dir der Wortzähler. Stammen die Zeilen aus einer CSV-Datei, erledigt CSV bereinigen die Arbeit spaltenweise.