Das Problem

Der Platz auf dem Harddisk wird knapp, denn er ist gefüllt mit Fotografien von den Ferien oder von immens vielen Musikdateien oder sonstigen Dokumenten. Und einige der gehorteten Dateien sind mit grosser Wahrscheinlichkeit doppelt oder mehrfach vorhanden. Die zu vernichten würde Speicherplatz wieder freigeben.
Aber wie können gleiche und vor allem ähnliche (wenig abweichende) Dateien in der Kollektion gefunden werden wenn die Unterschiede nicht in Dateinamen oder Inhalt, sondern an der Art der Speicherung liegen?
Beispiele von Unterschieden bei gleichem Inhalt:

• Bilddateien: Format, Auflösung, Rotation
• Musikdateien: Format, Bitrate
• Dasselbe Problem besteht auch bei Textdateien und Binaries.

DuMP3 ist meine Lösung

DuMP3 (abgeleitet aus Duplicate MP3) ist ein in Java geschriebenes Programm das doppelte oder ähnliche Dateien findet.

Für das Vergleichen wird von jeder Datei ein Fingerabdruck (Fingerprint) errechnet, basierend auf deren Inhalt (Fotografie, Musik oder Textdatei). Dieser wird gegen alle anderen Prüfsummen verglichen. Es werden nicht Dateinamen oder ID3-Tags verglichen, aber zusätzliche Zusatzmodule für solche Operationen könnten programmiert werden. Die errechneten Prüfsummen werden optional in einer Datenbank gespeichert. Momentan wird MySQL und Microsoft SQL Server 2005 unterstützt. Diese müssen so für folgende Suchläufe nicht wieder neu errechnet werden, das erhöht die Geschwindigkeit drastisch.

Dateien die von DuMP3 nicht gelesen oder korrekt dekodierbar sind, werden als Beschädigt/Korrupt oder mit Signaturfehler gekennzeichnet.

DuMP3 findet auch nicht hundert-prozentig übereinstimmende Dateien:

• Binäre Dateien werden mit SHA1 verglichen (Konfigurierbar zu jeder "MD" Hash)
• Textdateien mit Veränderung durch hinzufügen oder löschen von Inhalt (2 Fingerabdruck-Algorithmen vorhanden)
• Bilddateien von unterschiedlichem Format, Grösse und/oder Rotation (BMP, GIF, JPEG, JPEG2000, PNG, PNM, RAW, TIFF)
• Musikdateien aus Aufnahmen mit unterschiedlicher Bitrate oder unterschiedlichem Speicherformat (AU, AIF, WAV, MP3, OGG)
• Zusatzmodule können programmiert und eingebunden werden für die Auswertung von Prüfsummen in Bezug benötigter ungenauer Übereinstimmung, beispielsweise für Schriften, Videos und so weiter.

Neuigkeiten

• 4 Apr 2008 DuMP3 0.3.2 herausgegeben. SQL Server löscht nicht alle Dateien [1924684], Dateien per Knopfruck löschen [1906068], Datenbank Version im Fenster anzeigen [1906092]
• 14 Mär 2008 DuMP3 0.3.1 herausgegeben. Stop Knopf. Datein als "kein Duplikat" markiern repariert.
• 11 Mär 2008 DuMP3 0.3.0 herausgegeben. database verändert - Resultate werden jetzt in der Datenbank gespeichert. Vereinfachte Übersetzungsdateien.
• 10 Aug 2007 DuMP3 0.2.16 herausgegeben. SQLServer Integration komplett.
• 1 Aug 2007 DuMP3 0.2.15 herausgegeben. Türkische Übersetzung. Überarbeitung für SQLServer Integration. Versionsnzeige geändert.
• 27 Dec 2006 DuMP3 0.2.14 is out. Mac OS X fixes. 1614710: build from source. Configuration values bug. MySQL disconnect bug. Text file display.
• 8 Dec 2006 DuMP3 0.2.13 is out. Fix Highlight bug. Fix I18N message bug. Files deleted or moved are now deleted or updated in the database. Indicator on splash screen when new version is available.
• 30 Nov 2006 DuMP3 0.2.12 is out. I18N completed - translators wanted. Highlight non-matching info.
• 26 Oct 2006 DuMP3 0.2.11 is out. Added feature 1581317 - Results layout option.
• 29 Sep 2006 DuMP3 0.2.10 is out. Better image display (gray scale), added buttons that act on both files. See FAQ for update to the database.
• 07 Sep 2006 DuMP3 0.2.9 is out. Fixed bug 1552651 - compare process stops at penultimate file. Added feature 1548866 - Temp trash bin. Some minor enhancements and speed-ups.
• 04 Sep 2006 DuMP3 0.2.8 is out. Fixed bugs 1549667 - Self shown as duplicate, 1548859 - Lost context. Added features 1548861 - Show filename in summary box, 1548860 - Bigger text for percentage match.
• 28 Aug 2006 DuMP3 0.2.7 is out. Better info handling. Sort by column on found extensions.
• 25 Aug 2006 DuMP3 0.2.6 is out. GUI works! Multiple OS builds.
• 10 Jul 2006 DuMP3 0.2.5 is out. Command line can scan multiple directories. Will use multiple processors fully.
• 15 Mar 2006 DuMP3 0.2.3 is out. Bug fix for some invalid MP3s.
• 04 Oct 2005 DuMP3 0.2.2 is out. Performance improvements and minor bug fixes.
• 16 Sep 2005 DuMP3 0.2.1 is out. Bug fix for WAV files. Added extra image formats.
• 05 Jul 2005 DuMP3 0.2.0 is out. Audio comparison is working correctly.
• 27 May 2005 DuMP3 0.1.1 is out. Picture comparison is working correctly.

Bekannte Fehler/offene Punkte

Bilddateien können fälschlicherweise als korrupt markiert werden weil die Java Bilderkennung javax.imageio.ImageIO.read(File) das Format nicht kennt. Das ist eine Einschränkung aufgrund der Implementierung des (alten) JAI Image-Decoders durch SUN, nicht aufgrund DuMP3. Zwei Beispiele: CMYK encoded JPEG und RLE encoded BMP.

Manche sehr große Bilddateien (ungefähr 4000x4000 Pixel) können DuMP3 wegen Speichermangel abstürzen lassen.

Einschränkungen

DuMP3 unterliegt den gleichen Einschränkungen wie JAVA und dessen Bibliotheken die für dieses Projekt gewählt wurden. In der F.A.Q. werden die meisten behandelt.