Erweiterte Dublettensuche

Kontakte bestehen aus mehreren Attributen. Als Dubletten-Attribute (Zeichenketten) für Kontakte sind Name, Telefon, E-Mail, URL, Ort, Straße und PLZ relevant.

Die Zeichenketten werden erst in Wörter oder Tokens zerlegt. Dabei werden unter anderem Stoppzei­chen berücksichtigt. Dann wird geprüft, welche und wie viele Tokens die beiden zu vergleichenden Zei­chenketten gemeinsam haben. Tokens, die oft in der untersuchten Zeichenkette vorkommen, werden höher gewichtet, und Tokens, die in fast jeder Zeichenkette vorkommen, geringer. Jeder Ver­gleichsschritt liefert TRUE oder FALSE, und die Schritte sind ODER-verknüpft.

Bei zwei Kontakten werden jeweils dieselben Attribute auf Basis der Tokens nacheinander zunächst auf Gleichheit (ohne Berücksichtigung der Groß- und Kleinschreibung) verglichen. Sind die Attributwerte nicht gleich, wird ihre Levenshtein-Distanz geprüft.

Die Levenshtein-Distanz beschreibt die minimale Anzahl von Änderungen, die nötig ist, um aus der ers­ten Zeichenkette die zweite Zeichenkette zu generieren. Als Änderungen gelten hinzugefügte, entfernte und ausgetauschte Zeichen. Beispielsweise werden Satzzeichen eliminiert, was dann schnell zu einer Übereinstimmung der zwei Attributwerte führen kann. Wird auch mit diesem Algorith­mus keine Übereinstimmung festgestellt, wird ein phonetischer Vergleich nach Beider-Morse durchgeführt.

Dieser Algorithmus ermöglicht es, ähnliche Namen zu identifizieren, auch wenn sie unterschiedlich oder in verschiedenen Sprachen geschrieben sind. Im Unterschied zu Soundex erzeugt er keine große Anzahl von falschen Treffern und kann mehrere Sprachen analysieren.

Alle als gleich erkannten Tokens ergeben einen Bewertungsfaktor: Anzahl aller übereinstimmenden Tokens / Anzahl aller Tokens. Der Bewertungsfaktor wird mit der Punktzahl des Dubletten-Attributs multi­pliziert, woraus sich dessen Bewertung ergibt. Eine abweichende Korrelation der Tokens reduzie­rt den Bewertungsfaktor entsprechend.

Mit der Dubletten-Bewertung (Bewertungsdialog für den Schwellwert der Attribute) kann man die Token-Bewertung über die Gewichtung des jeweiligen Attributs steuern.

Die Summe aller Bewertungen ergibt am Ende die Dubletten-Punktzahl, die mit der Level-Vorgabe verglichen wird, die endgültig entscheidet, ob der Kontakt eine Dublette ist.

Es hängt stets stark von den Daten ab, in welche Richtung die Bewertung für eine Dublette tendiert.

Sonderbuchstaben (Á,À,Å,Ä ...) werden beim Bestandsteilvergleich berücksichtigt (phonetischer Ver­gleich). Bei Namen werden Akzentzeichen vor der Bewertung entfernt, wodurch die Bewertung auf mögliche Dubletten treffen kann.

Eine Dublettenprüfung bei einer Menge von Kontakten (Personen oder Unternehmen) bedeutet, dass Datensätze markiert werden, für die es bereits jeweils einen Master-Datensatz in der Datenbank gibt.

Ein Bewertungsschema hilft bei der Entscheidung, ob ein Datensatz als Dublette markiert wird. Das Schema wird mit Umgebungsvariablen gebildet.

Die Voreinstellungen für die Stufen kann der Administrator über die Variablen PNT_MOD_1_ORG, PNT_­MOD_1_PRS, usw. festlegen. Dabei handelt es sich um Sammeleinträge für die Voreinstellungen mit den Ein­trägen Unscharf, Mittel und Scharf und die entsprechenden Vorgaben für die Feldbewertung.

Alle Kontakte, deren jeweiliger Name dem des zu untersuchenden Kon­takts ähnlich ist, werden geprüft. Bei den Datensätzen mit Namensähnlichkeit werden zusätzlich die Felder STR, ZIP, CIT, EMA, URL und TEL bewertet.

Diejenigen Kontakte, die nach dem Bewertungsschema mehr als 60 Punkte (Level) haben, werden in die Dub­lettenmenge aufgenommen. Aus dieser Menge wird der älteste Datensatz (Master-Datensatz) als solcher gekennzeichnet. Der Schlüssel des Master-Datensatzes (Feld DBL_MAS_GID in PSA_CON) wird in alle Dublettendatensätze eingetragen, die somit für die Bereinigung als Dubletten des Masters markiert sind. Die Dubletten kann sich der Administrator im Bereinigungsformular anzeigen lassen.