Unabhängige KI-Prüfung: Fraunhofer IPA untersucht Machine-Learning-System von Experian

Ein Audit des Fraunhofer IPA (zweiter Schritt in der Grafik) bestätigt der ML-Komponente für die Betrugserkennungslösung von Experian eine korrekte Entwicklung und nachvollziehbare Ergebnisse. © Experian

Das Fraunhofer-Institut für Produktionstechnik und Automatisierung IPA hat die Machine-Learning-Komponente »Transaction Miner« des Informationsdienstleisters Experian einem Audit unterzogen. Der Transaction Miner ist eine Kernkomponente der Experian-Betrugspräventionslösung AI:drian. Das Audit hat bestätigt, dass die Entwicklung des Transaction Miners korrekt sowie gemäß relevanter Best Practices erfolgt ist und das Modell zu nachvollziehbaren Ergebnissen führt.

Maschinelles Lernen (ML) ist die meistgenutzte Methode der Künstlichen Intelligenz (KI). ML-Systeme lernen anhand von Beispielen weitgehend selbstständig, bestimmte Muster oder Gesetzmäßigkeiten zu erkennen. Die Wirkzusammenhänge in einem trainierten Modell liegen allerdings nicht in jedem Fall offen, d.h. die Logik, wie aus den Ausgangsinformationen ein Ergebnis abgeleitet wird, ist oft kaum ersichtlich. Darum wird in der öffentlichen Diskussion häufig die Metapher von der Black Box verwendet. Damit geht einher, dass ML-Systeme nicht nur positiv, sondern auch kritisch bewertet werden, was eine zusätzliche Hürde für einen breiteren Einsatz der Technologe bildet.

Ausführliche Analyse der ML-Lösung

Wie generell bei jeder Verwendung von Modellen ist insbesondere mit ML-Systemen ein verantwortungsvoller und regelkonformer Umgang notwendig. Der technische Fortschritt hat hier zu neuen Möglichkeiten geführt, sodass auch die EU-Kommission gerade an einem Gesetzentwurf arbeitet, um den KI-Einsatz zu regulieren. Damit Kunden auch beim Einsatz der Betrugspräventionslösung AI:drian auf der sicheren Seite sind, hat Experian das Fraunhofer IPA beauftragt, zu bewerten, ob die ML-Komponente Transaction Miner unter Beachtung aller Best Practices und Gesetzesvorgaben entwickelt wurde und nachvollziehbare Ergebnisse liefert. Der Überprüfung lagen neben dem Entwurf der EU ein White Paper des TÜV Austria sowie ein KI-Prüfkatalog des Fraunhofer-Instituts für Intelligente Analyse- und Informationssysteme IAIS zugrunde, die richtungsweisend für zukünftige Marktstandards sind. Mit Abschluss einer sehr ausführlichen viermonatigen Prüfungsphase ist diese Untersuchung zu einem positiven Resultat gelangt.

»Wir beobachten, dass mehr und mehr ML-Systeme in Bereichen zum Einsatz kommen, die die EU-Kommission als kritisch definiert hat, beispielsweise in selbstfahrenden Autos oder – wie in diesem Fall – bei der Überprüfung der Betrugsabsichten und Kreditwürdigkeit von Konsumenten«, erläutert Professor Marco Huber, Leiter der Abteilung Cyber Cognitive Intelligence (CCI) am Fraunhofer IPA. »Nicht alle Details der kommenden EU-Gesetzgebung sind bereits bekannt. Wie jedoch Algorithmen aussehen müssen, die faire, erklärbare und nachvollziehbare Ergebnisse liefern, ist zwar nicht trivial, aber auch kein Hexenwerk. Die Überprüfung des Transaction Miners von Experian gab uns die Gelegenheit, einem Produkt unter die Motorhaube zu schauen, das sich bereits im praktischen Einsatz befindet, und an einem standardisierten Verfahren zu arbeiten, das nutzbar ist, sobald die EU-Gesetzgebung rechtskräftig wird.«

Arbeitserleichterung um mehr als 95 Prozent

Der von Fraunhofer IPA geprüfte Transaction Miner ist die zentrale Komponente in der Betrugspräventionslösung AI:drian, die Experian vor Kurzem in der DACH-Region auf den Markt gebracht hat. Mithilfe der verwendeten ML-Algorithmen ist AI:drian in der Lage, Online-Betrugsversuche zuverlässiger zu erkennen als bisherige Systeme. Bei einem Pilot-Kunden aus der E-Commerce-Branche waren 99,9 Prozent der Transaktionen, die der Transaction Miner aufgrund seines Trainings als legitim identifizierte, nicht betrügerisch und wurden entsprechend nicht abgelehnt. Statt monatlich rund 7.000 Bestellanfragen mussten daher nur noch 300 manuell geprüft werden – eine Arbeitserleichterung um mehr als 95 Prozent.

»Neue Entwicklungen wie Machine Learning werden von der Öffentlichkeit kritisch beobachtet«, kommentiert Martina Neumayr, Senior Vice President Credit Risk & Fraud Services bei Experian DACH. »Es gibt auch Beispiele, dass ML-Systeme fragwürdige Ergebnisse liefern. Mit dem Transaction Miner haben wir eine besonders leistungsstarke ML-Komponente entwickelt, die auch dort einsetzbar ist, wo die EU-Kommission starken Regulierungsbedarf sieht, beispielsweise im Finanzwesen. Genau darum war es uns ein besonderes Anliegen, dass wir transparent agieren und die Technologie unabhängig überprüfen lassen. Wir glauben, dass der Einsatz neuer Technologien nur auf Akzeptanz treffen kann, wenn es unabhängige Kontrollen wie die durch das Fraunhofer IPA gibt. Umso besser, wenn wir durch diese Pionierleistung den Weg für ein künftiges standardisiertes Verfahren geebnet haben.«

Vielfältiges Angebot rund um »Zuverlässige KI«

Audits wie das beschriebene sind eines der Kernangebote der Abteilung CCI am Fraunhofer IPA. Einer der dortigen Forschungsschwerpunkte ist das Thema »Zuverlässige KI«. In diesem Kontext entwickeln die IPA-Experten unter anderem Methoden zur Erklärbarkeit und Absicherung von KI-Systemen. Dazu gehört auch, Audits durchzuführen und KI-Systeme als unabhängig und rechtskonform zu validieren bzw. zu qualifizieren. Die Leistungsangebote sind branchenunabhängig und eignen sich für Firmen vom Start-up bis zum Konzern.

Über Fraunhofer IPA

Das Fraunhofer-Institut für Produktionstechnik und Automatisierung IPA, kurz Fraunhofer IPA, ist mit annähernd 1200 Mitarbeiterinnen und Mitarbeitern eines der größten Institute der Fraunhofer-Gesellschaft. Der gesamte Haushalt beträgt 82 Mio. €. Organisatorische und technologische Aufgaben aus der Produktion sind Forschungsschwerpunkte des Instituts. Methoden, Komponenten und Geräte bis hin zu kompletten Maschinen und Anlagen werden entwickelt, erprobt und umgesetzt. 19 Fachabteilungen arbeiten interdisziplinär, koordiniert durch 6 Geschäftsfelder, vor allem mit den Branchen Automotive, Maschinen- und Anlagenbau, Elektronik und Mikrosystemtechnik, Energie, Medizin- und Biotechnik sowie Prozessindustrie zusammen. An der wirtschaftlichen Produktion nachhaltiger und personalisierter Produkte orientiert das Fraunhofer IPA seine Forschung.

Über Experian DACH

Experian ist weltweiter Marktführer für Informations- und IT-Dienstleistungen. Experian hilft seinen Kunden, Daten selbstbewusst zu nutzen. Experian unterstützt Privatpersonen dabei, die Kontrolle über ihre finanziellen Angelegenheiten zu erlangen und Zugang zu Finanzdienstleistungen zu erhalten. Unternehmen unterstützt Experian dabei, smarte, wachstumsfördernde Entscheidungen zu treffen. Kreditnehmer begleitet das Unternehmen beim verantwortungsbewussten Umgang mit Krediten. Organisationen erhalten das nötige Handwerkszeug, um sich gegen Identitäts-Fraud und Kriminalität zu schützen. In der DACH-Region bietet Experian Unternehmen aller Größen und Branchen, wie E-Commerce-Betreibern, Versicherungen, Finanzdienstleistern und Telekommunikationsunternehmen die jeweils beste Basis für ihr Risiko-, Fraud- und Identitäts-Management.