Empfehlungssysteme sind in unserer digitalen Welt allgegenwärtig und beeinflussen unser tägliches Leben, sei es beimOnline-Shopping, beim Musik-Streaming oder bei der Auswahl von Filmen und Serien. Doch wie können wir sicherstellen, dass diese Systeme tatsächlich effektiv, fair und nützlich sind? Hier kommt die Evaluation ins Spiel.
Ohne eine gründliche Evaluation wissen wir nicht, ob ein Empfehlungssystem wirklich „funktioniert“. Das bedeutet, wir haben keine klare Vorstellung davon, wie präzise die Empfehlungen sind, wie fair sie gestaltet sind oder welche neuen Informationen sie den Nutzern bieten. Die Evaluation ist der Schlüssel, um die Leistungsfähigkeit eines Systems zu messen und zu verstehen, in welchen Bereichen es Verbesserungen benötigt.
Die Evaluation von Empfehlungssystemen ist eine interdisziplinäre Aufgabe, die verschiedene Fachbereiche miteinander verbindet:
Information Retrieval: Hier stammen viele der gängigen Metriken wie Recall und Precision her.
Diese Metriken helfen dabei, die Genauigkeit und Relevanz der Empfehlungen zu bewerten.
Maschinelles Lernen: Methoden wie Training/Test-Set Splits sind essenziell, um die
Leistungsfähigkeit der Modelle zu testen und zu validieren.
Mensch-Computer-Interaktion: Um den tatsächlichen Mehrwert der Empfehlungen für die Nutzer zu ermitteln,
sind auch Methoden der Mensch-Computer-Interaktion erforderlich, wie zum Beispiel User-Studien.
Durch die Integration dieser verschiedenen Disziplinen kann eine umfassende und effektive Evaluation erreicht werden.
Eine der größten Herausforderungen bei der Evaluation von Empfehlungssystemen besteht darin, alle relevanten Stakeholder in den Prozess einzubeziehen. Empfehlungssysteme sind Multi-Stakeholder-Systeme, bei denen nicht nur die Benutzerperspektive, sondern auch die Perspektive der Anbieter berücksichtigt werden muss – also jene Stakeholder, die ihre Produkte oder Dienstleistungen vertreiben möchten.
Hier kann die Industrie durch ihr Domänen-Wissen entscheidend beitragen. Sie kann helfen, die Bedürfnisse aller Stakeholder zu ermitteln und sicherzustellen, dass diese im Evaluationsprozess berücksichtigt werden.
Fortschritte bei der Evaluierung von Empfehlungssystemen haben einen direkten Einfluss auf die zukünftige Forschung und Entwicklung in diesem Bereich. Nur durch präzise und umfassende Evaluierungsmethoden können wir Fortschritte in der Forschung feststellen. Dies wiederum ermöglicht die Entwicklung neuartiger Empfehlungssysteme, beispielsweise basierend auf generativer Künstlicher Intelligenz (Large Language Models).
Eine gründliche und interdisziplinäre Evaluation ist daher nicht nur ein Mittel zur Qualitätskontrolle, sondern auch ein Motor für Innovation und Fortschritt in der Welt der Empfehlungssysteme. Indem wir die Zusammenarbeit zwischen Wissenschaft und Industrie stärken und alle relevanten Perspektiven einbeziehen, können wir die nächste Generation von Empfehlungssystemen entwickeln, die noch präziser, fairer und nützlicher sind.
Diese Erkenntnisse und mehr wurden im Rahmen des Dagstuhl Seminars vermittelt. Danke an Dr. Dominik Kowald, Areahead der Abteilung Fair AI, der die Grundlage für diesen Text geschaffen hat. Weitere Informationen zu unserer Forschung finden Sie auf der Seite der Research Area Fair AI.