Eine Untersuchung des Lebenszyklus von Produkteigenschaften in Kundenrezensionen
Online-Kundenrezensionen stellen für Unternehmen eine frei zugängliche Informationsquelle zur Analyse der Kundenmeinungen dar. Durch das unstrukturierte Format dieser Daten kann die Analyse jedoch vor Herausforderungen gestellt werden. Viele Untersuchungen beschäftigten sich bislang mit der Analyse von Produkteigenschaften auf Basis von Kundenrezensionen. Dabei fokussierten sie sich aber zumeist auf die Analyse einzelner Produktgenerationen und ließen eine zeitliche Entwicklung außer Betracht. Produktmerkmale sind in der Wahrnehmung der Kunden aber oft nicht statisch sondern entwickeln sich entlang eines Lebenszyklus. Ein Produkt, welches Kunden zu Beginn noch begeisterte, kann nach einiger Zeit als selbstverständlich angesehen werden. Für Unternehmen, die sich über Produkteigenschaften von ihrer Konkurrenz differenzieren möchten, kann es entscheidend sein, solche Entwicklungen frühzeitig zu erkennen. So kann erfasst werden, wenn ein Attribut seine Funktion als Alleinstellungsmerkmal verliert, um anschließend entsprechende Maßnahmen zu treffen.
Im Rahmen meiner Masterarbeit habe ich deshalb einen Untersuchungsansatz entwickelt, mit dem aus Online-Kundenrezensionen unter anderem Erkenntnisse für den Produktentwicklungsprozess gewonnen werden sollen, indem die zeitliche Entwicklung über mehrere Produktgenerationen betrachtet wird. Dazu wurden mit Methoden des Natural Language Processings Produkteigenschaften in Kundenrezensionen identifiziert und in die Kategorien des Kano-Modells eingeteilt. Anschließend wurde betrachtet, wie sich die Kategorisierung der Produktattribute über verschiedene Produktgenerationen hinweg entwickelte.
Im Folgenden werden die Grundzüge dieses Untersuchungsansatzes sowie einige Ergebnisse dargestellt. Dazu werden zunächst nochmals kurz einige theoretische Hintergründe beleuchtet. Anschließend werden die angewandten Methoden des Topic Modelings, der Aspect-based Sentiment Analysis und eines Regressionsmodells betrachtet, welche die Überführung einzelner Produkteigenschaften in das Kano-Modell ermöglichten.
Wirtschaftswissenschaftlicher Hintergrund
Das Kano-Modell bietet eine Möglichkeit, um Produkteigenschaft zu klassifizieren. Es berücksichtigt dabei nicht nur den Erfüllungsgrad eines Attributs, sondern auch die Zufriedenheit, welche durch Erfüllung beziehungsweise Nichterfüllung gestiftet wird. So wird nicht ausschließlich eine eindimensionale Einordnung vorgenommen, sondern erlaubt auch die Unterscheidung, ob ein Attribut die Nutzer beispielsweise begeistert oder sie diese Funktion bereits erwarten.
Ein Basismerkmal eines Autos ist beispielsweise, dass es über vier Reifen verfügt. Dies ist ein notwendiges Merkmal und wird von den Kunden erwartet. Begeisternd könnte hingegen ein Sitz mit integrierter Massagefunktion sein. Ist diese Funktion vorhanden, erfreut dies die Nutzer. Ist diese Funktion aber nicht vorhanden, führt dies in der Regel nicht zwingend zu Unzufriedenheit.
Kundenrezensionen als Informationsquelle
Online-Kundenbewertungen als eine Form des Electronic Word-of-Mouth machen Kundenmeinungen und Erfahrungen Millionen Menschen frei zugänglich. Vor dem Beginn des Internetzeitalters beschränkte sich die klassische Mundpropaganda auf einen kleinen Rahmen im nahen sozialen Umfeld der Kunden. Durch soziale Medien, Bewertungsportale und Online-Verkaufsplattformen stehen Konsumenten heutzutage viele Wege offen, in denen die eigenen Erfahrungen mit einer deutlich größeren Menge an Menschen geteilt werden kann. Zum einen profitieren davon die Kunden, denen eine große Menge an Erfahrungsberichten zur Verfügung steht, bevor sie eine Kaufentscheidung treffen. Für Unternehmen können diese Rezensionen aber auch als wichtiger Prädiktor für Absatzzahlen dienen oder Erkenntnisse zu Wünschen, Bedürfnissen und Kritikpunkten der Kunden liefern.
Bei der Analyse der Kundenrezensionen ist jedoch zu beachten, dass diese systematischen Verzerrungen unterliegen. Erwartbar wäre, dass der sogenannte Negativity Bias einen großen Einfluss auf die Rezensionen hat und deswegen negative Erfahrungen stärker in den Rezensionen vertreten sind. Tatsächlich zeigt sich jedoch häufig das Muster einer asymmetrischen, bimodalen, positiv verzerrten, J-förmigen Verteilung, die nicht durch einen Negativity Bias erklärt werden kann. Stattdessen können andere Verzerrungen dieses Muster erklären. Ein Underreporting Bias liegt vor, da nicht alle Kunden auch eine Rezension verfassen. Es kann beobachtet werden, dass insbesondere sehr zufriedene und unzufriedene Kunden Bewertungen verfassen, was eine U-förmige Verteilung erklären kann. Die Verschiebung zum positiven Ende der Skala kann durch einen Acquisition Bias erklärt werden. Dieser ergibt sich daraus, dass Menschen, die einem Produkt von vornherein positiv gegenüberstehen, eher dazu tendieren, dieses zu kaufen und dementsprechend auch eher Bewertungen schreiben. Eng damit verbunden ist das Phänomen der kognitiven Dissonanz. Kunden, die negative Erfahrungen nach einem Kauf machen, neigen dazu, diese Erfahrungen auf persönliche Probleme zurückzuführen und nicht auf die eigentlichen Fehler des Produkts.
J-Verteilung bei Kundenrezensionen
Fallstudie
Um die Untersuchung durchführen zu können, wurde ein NLP-basierter Ansatz entwickelt. Der Ansatz besteht aus vier zentralen Schritten zur Identifikation von Produkteigenschaften in Kundenrezensionen und Überführung dieser Attribute in die Kategorien des Kano-Modells. Das Vorgehen dieser Schritte wird in den nächsten vier Abschnitten vorgestellt.
1. Topic Modeling
Der erste zentrale Schritt der Analyse bestand aus der Identifikation der relevanten Produkteigenschaften anhand der Kundenrezensionen. Zunächst wurden dazu mittels KeyBERT relevante Schlüsselbegriffe aus jeder Kundenrezension identifiziert. KeyBERT erlaubt unter anderem die Einstellung der n_gram_range, welche die Länge der auszugebenden Schlüsselbegriffe definiert. Da das Vorgehen über einfache N-grams in Benchmark-Vergleichen jedoch zu schlechten Ergebnissen führt, wurde über einen KeyphraseCountVectorizer ein Part-of-Speech Pattern an KeyBERT übergeben, um grammatikalisch und inhaltlich sinnvolle Schlüsselbegriffe zu extrahieren.
Um anschließend relevante Produktattribute identifizieren und Themen wie die Lieferung oder den Kundenservice ausschließen zu können, wurden diese extrahierten Keywords geclustert. Die Vektorrepräsentationen der einzelnen Begriffe wurden dazu über ein Word2vec-Modell generiert, welches auf Basis der vorhandenen Kundenrezensionen erzeugt wurde. Aufgrund einer geringen Größe des Korpus, verglichen mit anderen trainierten Embedding-Modellen, mussten die Cluster anschließend manuell geprüft werden. Im gleichen Zug wurden Cluster mit irrelevanten Themen aus der weiteren Analyse entfernt und die verbleibenden Cluster manuell gelabelt. Bereits trainierte Vektorrepräsentationen konnten nicht verwendet werden, da diese die Zusammenhänge im Datensatz weniger gut abgebildet haben als das selbst trainiert Modell.
Im nächsten Schritt mussten die identifizierten Produkteigenschaften den einzelnen Kundenrezensionen zugeordnet werden. Dazu wurde zunächst für jedes Keyword innerhalb eines Clusters eine Embedding-Repräsentation durch ein SentenceTransformer-Modell bestimmt. Anschließend wurde der Mittelwert dieser Embeddings innerhalb eines Clusters gebildet, um eine durchschnittliche Repräsentation jedes Themas zu erhalten. Mittels Spacy wurden anschließend aus jeder Kundenrezension sämtliche Noun Chunks extrahiert und ebenfalls in ihre Vektorrepräsentation überführt. Zwischen diesen Noun Chunks und den Cluster-Vektoren wurde die Kosinus-Ähnlichkeit bestimmt. Lag die Ähnlichkeit über einem festgelegten Schwellenwert, wurde der Noun Chunk der entsprechenden Rezension und dem passenden Produktattribut zugeordnet.
2. Aspect-based Sentiment Analysis (ABSA)
Um die einzelnen Produkteigenschaften in das Kano-Modell überführen zu können, war der nächste notwendige Schritt das Bestimmen des Aspekt-basierten Sentiments zu jedem identifizierten Thema in den entsprechenden Rezensionen. Über ein DeBERTa Transformer-Modell wurde für die zu Themen zugeordneten Noun Chunks das Sentiment in der Rezension bestimmt. Rezensionen beziehen sich jedoch oft nicht ausschließlich auf Produktaspekte. Um die Gesamtbewertung der Rezension abbilden zu können, zeichnet die alleinige Betrachtung der Produktattribute ein unvollständiges Bild. Deswegen wurde im anschließenden Schritt das verbleibende Sentiment der Rezensionen bestimmt, welches nicht durch die Produktattribute abgebildet wurde. Dazu wurden aus den Rezensionen diejenigen Sätze entfernt, welche identifizierte Produktattribute enthalten. Für die zentralen Themen dieser Sätze wurde durch die ABSA bereits das Sentiment abgebildet. Für die übrigen Sätze wurde im Anschluss das übergreifende verbleibende Sentiment bestimmt.
3. Regressionsmodell
Um nachfolgend die Überführung der Produkteigenschaften in das Kano-Modell vornehmen zu können, wurde ein XGBoost Regressionsmodell trainiert, welches auf Basis der zuvor bestimmten Sentiments die Gesamtbewertung der entsprechenden Rezension vorhersagen sollte. Die Gesamtbewertung kann dabei nicht als Linearkombination des Empfindens der einzelnen Produktattribute gesehen werden. Ebenso unterliegen die Rezensionen anderen Biases, wie bereits beschrieben wurde. Deswegen konnte vorab nicht davon ausgegangen werden, dass das Modell perfekte Vorhersagen treffen wird. Nach der Durchführung eines Hyperparametertunings lag der Mean Absolute Error des Modells im Bereich zwischen 0,6 und 0,7. Es zeigten sich dabei einige Unschärfen bei der Vorhersage der Gesamtbewertung, insbesondere beim mittleren Skalenpunkt, aber auch in den Extremen. Grundsätzlich konnte das Modell aber die Tendenzen der Rezensionen gut abbilden. Positive beziehungsweise negative Rezensionen wurden dementsprechend auch als tendenziell positiv und negativ vorhergesagt. Beispielhaft sind in der nebenstehenden Grafik die vorhergesagten Werte bei einer wahren Bewertung von fünf Sternen dargestellt.
4. Effekte der Sentiments auf die Gesamtbewertung
Die Kategorisierung der Produktattribute in das Kano-Modell erfolgte durch die Bestimmung des Einflusses eines positiven beziehungsweise negativen Sentiments zu einem Attribut auf die Gesamtbewertung. Um diese Einflüsse zu bestimmen wurden auf Basis des zuvor trainierten Regressionsmodells die SHAP-Values (ϕ) zu jeder einzelnen Produkteigenschaft bestimmt. Aus den Werten der SHAP-Values zu positiven und negativen Sentiments kann dieser Effekt abgeleitet werden. Da jedoch für jede Rezension, die ein Attribut enthält, ein entsprechender SHAP-Value berechnet wird, müssen diese Werte pro Produktattribut aggregiert werden.
Bevor die Aggregation stattfand, war jedoch noch eine vorgelagerte Prüfung notwendig. Die Analyse eines Produktattributs ergibt nur Sinn, wenn ausreichende Daten dazu vorliegen. Deswegen wurde überprüft, ob für ein Attribut mindestens 20 Rezensionen mit positivem oder 20 Rezensionen mit negativem Sentiment vorliegen. Lag die Häufigkeit beider Ausprägungen unter dem Schwellenwert, waren zu wenige Daten vorhanden, sodass diesem Attribut im Folgenden keine Kategorie im Kano-Modell zugeordnet wurde. Es wurde sich dagegen entschieden, dass beide Pole des Sentiments über dem Schwellenwert liegen müssen. Wenn eine Produkteigenschaft beispielsweise nur selten negativ wahrgenommen wird, ist dies nicht zwangsläufig ein Zeichen dafür, dass zu wenige Daten vorliegen. Vielmehr kann dies bedeuten, dass die Eigenschaft entweder ausschließlich positiv wahrgenommen wird oder negative Erfahrungen für die Kunden nicht relevant sind. Wenn ein negatives Sentiment zu einem Thema nur selten vorkommt, wurde dementsprechend angenommen, dass die negative Wahrnehmung dieser Produkteigenschaft keine Auswirkungen auf die Gesamtbewertung hat. Diesem Sentiment wird demnach ein SHAP-Value von 0 zugeordnet.
Selten bedeutet in diesem Fall, dass in weniger als 20 Fällen ein negatives Sentiment identifiziert wurde und dass mehr als doppelt so viele Rezensionen mit einem positiven Sentiment im Vergleich zu einem negativen Sentiment im Datensatz enthalten sind. Gleiches gilt umgekehrt bei einer niedrigen Anzahl positiver Sentiments. Durch die Festlegung dieser Grenzen sollte nicht ausschließlich die absolute Häufigkeit eines Sentiments berücksichtigt werden, sondern ebenso die relativen Häufigkeiten, um ein besseres Gesamtbild zu zeichnen.
Zur Aggregation der Sentiments, die nicht selten auftreten, wurde nicht einfach der Mittelwert oder Median gebildet werden. Es sollten dabei die Unsicherheiten des Regressionsmodells berücksichtigt werden, auf welchem die SHAP-Values aufbauen. Deswegen wurde durch ein Bootstrapping-Verfahren ein 95% Konfidenzintervalls des Medians der SHAP-Values gebildet.
Das nachfolgend dargestellte Schema zur Kategorisierung in das Kano-Modell anhand der SHAP-Values wurde anschließend für alle Kombinationen der Grenzen der Konfidenzintervalle angewandt.
ϕipos ≤ 0 und ϕineg < 0: Basismerkmal
ϕipos ≤ 0 und ϕineg ≥ 0: Rückweisungsmerkmal
ϕipos > 0 und ϕineg < 0: Leistungsmerkmal
ϕipos > 0 und ϕineg ≥ 0: Begeisterungsmerkmal
ϕipos und ϕineg nicht signifikant von 0 verschieden: Der Effekt auf die Gesamtzufriedenheit ist sehr klein und das Attribut wird als Indifferentes Merkmal kategorisiert.
5. Ergebnisse der Untersuchung
Beispielhaft wurde die Entwicklung der Produkteigenschaften in der Samsung Galaxy S Smartphone Produktreihe untersucht. Bei der Betrachtung der Ergebnisse zeigen sich einige interessante Muster. Vorab hätte möglicherweise erwartet worden können, dass sich Funktionen wie die Kamera im Lauf der Zeit zu einem Basismerkmal entwickeln. Das ist jedoch nicht der Fall. Stattdessen verbleibt dieses Attribut über alle Produktgenerationen hinweg im Bereich der Leistungsmerkmale. Die Kamera ist eine Funktion, die ständig weiterentwickelt wird und sich somit nicht erkennbar in der Wahrnehmung der Kunden abnutzt. Bei anderen Funktionen, beispielsweise Textnachrichten, ist ebenso keine Entwicklung zu erkennen. Sie werden durchgehend als Basismerkmal kategorisiert und werden immer von den Nutzern erwartet. Es zeigten sich jedoch auch Veränderungen der Kategorisierung. So wurde beispielsweise das Merkmal Touchscreen in den anfänglichen Produktgenerationen noch als Leistungsmerkmal kategorisiert, entwickelte sich dann aber zu einem Basismerkmal. Es traten aber auch einzelne schwierig zu erklärende Ergebnisse der Kategorisierung auf. Diese sind mit großer Wahrscheinlichkeit auf fehlerhafte Zuordnungen von Themen zu Rezensionen oder Fehler des Regressionsmodells zurückzuführen. Zur übersichtlicheren Darstellung der Ergebnisse wurde mit Streamlit ein interaktives Dashboard erzeugt. Der Aufbau dieses Dashboards kann nachfolgend beispielhaft betrachtet werden.
Fazit
Durch die Vielzahl an Informationen, die in Online-Kundenrezensionen enthalten sind, können sie eine sehr gute Ergänzung zu anderen Methoden der Analyse von Kundenmeinungen darstellen. Nach dem aktuellen Wissensstand war meine Masterthesis eine der ersten Untersuchungen, welche die Entwicklung von Produkteigenschaften im Kano-Modell anhand von Kundenrezensionen über mehr als zwei Produktgenerationen betrachtet. In den bisherigen Untersuchungen war es nicht möglich, mehrere Veränderungen der Kategorisierung eines Merkmals zu betrachten.
Marius Buderer
Masterand im Studiengang Marketing Intelligence
an der Hochschule Pforzheim