LLMs und Cloud-Technologien zur Vernetzung von Onlineshops der Otto-Gruppe

KI-gestützte Übertragung von Produktempfehlungen zwischen unterschiedlichen Sortimenten von Onlineshops

16.09.2023 – ca. 11 Min. Lesezeit – Zurück zur Startseite – Alle Blog-Artikel

Large Language Models (LLMs) sind wegen ihrer vielfältigen Anwendungen in aller Munde. Auch im E-Commerce Bereich ist diese Technologie sehr nützlich. Zusammen mit der data.works GmbH haben wir sogenannte Embedding-Modelle aus dem LLM-Bereich mit der Vertex AI Matching Engine in der Google Cloud für mehrere Onlineshops der Otto-Gruppe eingesetzt, um kundenspezifische Produktempfehlungen aus einem Shop auf viele andere Shops übertragen zu können. Und das, obwohl sich die Sortimente und Kataloge dieser Shops stark unterscheiden.

Recommender Systeme

Recommender Systems sind seit langem ein etabliertes Werkzeug, um Kunden auf Basis ihrer individuellen Interessen Produkte und Services anzubieten. Auch die Onlineshops der Otto-Gruppe, zu denen otto.de und bonprix.de zählen, setzen Recommender Systeme seit vielen Jahren ein. Die Shops der Otto-Gruppe decken verschiedene Produktsortimente ab und nutzen zudem in ihren Datenbeständen unterschiedliche Produktbezeichnungen. Dadurch sind die Produktempfehlungen eines Shops bisher nicht auf die Sortimente anderer Shops übertragbar. Häufig sind dieselben Kunden aber in mehreren Shops der Otto-Gruppe unterwegs. Eine Übersetzung von Produktempfehlungen in die Sortimente der jeweils anderen Shops würde also insgesamt mehr und zielgenauere Produktempfehlungen ermöglichen.

Technischer Exkurs

Recommender Systeme prognostizieren das Interesse eines Users für ein Objekt, wie in diesem Fall für einzelne Produkte. Dabei werden häufig folgende Mechanismen verwendet:

Inhaltsbasierte Empfehlungen: Hierbei werden Produkte empfohlen, deren Eigenschaften ähnlich zu Produkten sind, welche bereits vom User gekauft oder angeschaut wurden.
Kollaborative Empfehlungen: Hierbei werden Produkte empfohlen, an denen User mit ähnlichem Nutzerverhalten interessiert waren.

Heutzutage werden meist mehrere Mechanismen in einem hybriden System vereint, um die Vorteile der verschiedenen Ansätze zu vereinen.

Es wird das Prinzip der Sortiment-Übersetzung gezeigt, bei dem einem User bei Einkauf in einem Shop Empfehlungen in einem anderen Shop mit anderem Sortiment gegeben werden können.

Beispiel für Vernetzung von Shops, wodurch dem User durch einen Einkauf in einem Shop eine Empfehlung in einem anderen Shop gegeben werden kann.

Anforderungen an die Vernetzung

Gemeinsam mit der data.works GmbH haben wir eine automatisierte Software- und Datenlösung entwickelt, die zwischen den verschiedenen Sortimenten der Otto-Shops übersetzen kann. Dabei mussten wir drei zentrale Anforderungen erfüllen:

Flexible Übersetzungslogik

Die Sortimente von Onlineshops sind ständig im Wandel. Eine fest programmierte Logik für die Übersetzung zwischen Sortimenten wäre daher wartungsintensiv und fehleranfällig. Somit ist eine Übersetzungslösung, die für beliebige Produktsortimente funktioniert und die aus zukünftigen Nutzerstudien lernen kann, gefordert.

Effizienz und Skalierbarkeit

Die Sortimente der Onlineshops sind zu groß, um mit akzeptablem Rechenaufwand jedes Produkt mit jedem anderen Produkt vergleichen zu können. Aus diesem Grund wird eine effiziente und skalierbare Methode benötigt.

Wartbarkeit und Modularität

In Zukunft sollen möglicherweise weitere Onlineshops in die Lösung integriert werden. Außerdem soll die Übersetzungslogik stetig verbessert werden. Beides erfordert eine möglichst wartbare und modulare Softwarearchitektur.

Unsere Lösung

Unsere Lösung meistert diese Anforderungen durch den Einsatz aktueller Machine Learning Verfahren aus dem Bereich Large Language Models (LLMs), zusammen mit skalierbarer und modularer Cloud-Technologie der Google Cloud Platform (GCP).

Repräsentation von Produkten durch LLM-Technolgie

Um mit ständig neuen Produkten umgehen zu können, setzen wir vortrainierte embeddings (virtuelle niedrig-dimensionale Representation) aus dem LLM-Bereich ein. Als Eingabe erhalten diese Modelle textuelle Beschreibungen aller Produkte aus den Stammdatenbanken der verschiedenen Shops. Als Ausgabe liefern die Modelle für jedes Produkt einen numerischen Vektor, der die Produkteigenschaften kodiert. Wenn sich Produktbeschreibungen ändern oder neue Produkte hinzukommen, müssen die Modelle nicht angepasst werden, sondern lediglich noch einmal auf die neuen Produkte angewendet werden.

Technischer Exkurs

Embedding-Modelle spielen eine unentbehrliche Rolle im Machine Learning Bereich. Sie kodieren die Bedeutung und den Kontext von Ein- und Ausgaben als numerische Vektoren, mit denen andere Machine Learning Modelle arbeiten können. Je höher die Ähnlichkeit zwischen zwei Vektoren, desto höher ist auch die Ähnlichkeit der Eigenschaften der beiden eingebetteten Objekte. Einbettungen können abhängig vom verwendeten Modell auf eine Vielzahl von Objekten angewendet werden, bspw. werden damit in LLM-Anwendungen Wörter und Sätze kodiert.

Effiziente und skalierbare Suche mit der Vertex AI Matching Engine

Wir nutzen die Vertex AI Matching Engine in der Google Cloud, um für jedes Produkt die ähnlichsten Produkte aus anderen Shops zu finden. Dafür stellen wir der Matching Engine die Vektorrepräsentationen aller Produkte bereit, die wir zuvor mit Hilfe der LLMs erzeugt haben. Die Matching Engine beherrscht eine effiziente und parallelisierte Suche der ähnlichsten Vektoren zu einem gegebenen Vektor. Damit bestimmen wir in unserem Fall für jedes Produkt aus einem Shop dessen ähnlichste Produkte in anderen Shops.

Je ähnlicher die Vektoren einzelner Produkte (hier 2-dimensional in 4 Quadranten nur durch Position dargestellt), desto ähnlicher die Produkteigenschaften.

Je ähnlicher die Vektoren einzelner Produkte (hier nur durch Position dargestellt), desto ähnlicher die Produkteigenschaften.

Wartbare und modulare Softwarearchitektur mit Vertex AI und Google Cloud Run

Wartbarkeit bedeutet hier zum einen, dass beim Hinzufügen neuer Funktionalität nur wenige Stellen des Codes angefasst werden müssen. Zum anderen heißt Wartbarkeit aber auch eine Minimierung des laufenden Aufwands für den Einsatz der Software. Für unsere Lösung erreichen wir beide Ziele durch eine Strukturierung der Software in unabhängigen Google Cloud Run Jobs und durch eine konsequente Nutzung von Google’s Vertex AI Abstraktionen zur Versionierung und Ausführung unserer LLMs. Cloud Run ermöglicht uns mit geringem Aufwand zentrale Einstiegspunkte für die Programmlogik zu definieren, z.B. für das Aktualisieren der Produktvektoren nach einer Änderung im Produktsortiment eines Shops. Vertex AI bietet uns eine stabile Ausführungsumgebung für LLMs, die gut mit weiteren GCP Tools integriert ist, wie z.B. BigQuery.

Fazit

Die automatische Übersetzung von Produkt-Sortimenten zwischen Onlineshops ist nur ein Anwendungsfall für LLM-Technologien im E-Commerce Bereich. In den nächsten Jahren werden LLM-Technologien zunehmend ihren Nutzen in verschiedenen Aspekten des E-Commerce finden. Die Verbesserung der Suchfunktion in Onlineshops ist ein solcher Use Case, bei dem auf Suchanfragen wie „Geschenk-Ideen für meine Eltern“ endlich logisch reagiert und keine leeren Ergebnisseiten zurückgegeben werden.

Auch im Bereich der Produktbeschreibungen und -bewertungen können LLMs dazu beitragen, die Qualität und Genauigkeit der bereitgestellten Informationen zu erhöhen. So können sie beispielsweise automatisch relevante Informationen aus unterschiedlichen Quellen zusammenfassen und ansprechende, verständliche Produktbeschreibungen erstellen, die potenzielle Käufer ansprechen und informieren.

Insgesamt bieten LLM-Technologien ein großes Potenzial für den E-Commerce-Bereich, um sowohl die Kundenerfahrung als auch die Effizienz und Effektivität von Onlineshops zu verbessern. Die erfolgreiche Implementierung und Integration von LLMs in verschiedene Aspekte des E-Commerce wird in den kommenden Jahren entscheidend sein, um den wachsenden Anforderungen und Erwartungen der Kunden gerecht zu werden und wettbewerbsfähig zu bleiben.

Autor

Moritz Renftle, Data Scientist bei scieneers GmbH
moritz.renftle@scieneers.de

Weitere Blog-Beiträge zum Thema Large Language Models

KI trifft Datenschutz: Unsere ChatGPT-Lösung für Unternehmenswissen

18. Dezember 2024

Unsere ChatGPT-Lösung ermöglicht es Unternehmen, firmeninternes Wissen sicher und datenschutzkonform zu nutzen. Mittels eines modularen Systems, das auf unternehmensspezifische Datenquellen wie SharePoint und OneDrive zugreift, können Mitarbeiter schnell und einfach auf Informationen zugreifen. Die Lösung bietet personalisierte Budgetverwaltung, sichere Authentifizierung und eine anpassbare Benutzeroberfläche, inklusive Feedback-Mechanismen für kontinuierliche Verbesserungen.

Wie Studierende von LLMs und Chatbots profitieren können

8. November 2024

In der Hochschulbildung revolutionieren Large Language Models (LLMs) und Retrieval Augmented Generation (RAG) das Lernen. Ein Projekt der Universität Leipzig zeigt den Erfolg von KI-Tutoren im Jura-Studium, die personalisierte Antworten bieten und auf Ressourcen verweisen. Vorteile für Studierende und Lehrende sind maßgeschneiderte Unterstützung und effiziente Lehrmaterialentwicklung, trotz Herausforderungen wie Ressourcenbedarf und Antwortqualität. Azure und OpenAI unterstützen mit sicherer Infrastruktur.

KI für das Gemeinwohl auf dem Digital-Gipfel 2024

31. Oktober 2024

Wir durften unser durch den Civic Coding-Accelerator gefördertes LLM-Projekt StaatKlar an Tag 2 des Digital-Gipfels 2024 vorstellen. Für alle Neugierigen hier eine kurze Zusammenfassung unseres Projekts und des Gipfels.

Der Einsatz von VideoRAG für den Wissenstransfer im Unternehmen

23. Oktober 2024

VideoRAG bietet einen innovativen Ansatz zur Überbrückung von Wissenslücken in Unternehmen, indem Video- und Textdaten mit Hilfe von generativer KI und Retrieval-Augmentation in eine durchsuchbare Wissensdatenbank umgewandelt werden. Es gewährleistet einen effizienten Transfer von nuanciertem Wissen, einschließlich des impliziten Wissens erfahrener Mitarbeiter, über KI-basierte Chatbots und macht es so auch jüngeren Generationen innerhalb der Belegschaft zugänglich.

dpunkt.verlag GmbH

M3 2024

26. April 2024

Auf der diesjährigen Minds Mastering Machines (M3) Konferenz in Köln standen neben den neuesten Trends im Bereich Machine Learning besonders Sprachmodelle (LLM), aber auch der AI Act, AI Fairness und automatische Datenintegration im Fokus. Wir waren mit zwei talks zu unseren Projekten beteiligt.

NextGeneration:AI – Innovation trifft Datenschutz

23. April 2024

Zusammen mit der Carl Remigius Fresenius Education Group (CRFE) entwickelten wir NextGeneration:AI. Dabei handelt es sich um eine datenschutzkonforme Plattform zur Nutzung von Sprachmodellen für alle Studierende und Mitarbeitende der CRFE. Das besondere an NextGeneration:AI ist die Authentifizierung über das Learning Management System Ilias mit Hilfe einer LTI-Schnittstelle, sowie die umfassende Personalisierbarkeit, die Nutzer:innen geboten wird. Im Blogartikel gehen wir auf die Details der Implementierung ein.

Multi-Agenten-LLM-Systeme kontrollieren mit LangGraph

28. März 2024

Im zweiten Teil der Reihe zu Multi-Agenten-Systemen werfen wir einen Blick auf LangGraph auf dem LangChain Ökosystem. LangGraph ermöglicht eine dynamische Kommunikation der Agenten die Mittels eines Graphen modelliert wird. Der Artikel vergleicht außerdem LangGraph mit AutoGen mit Blick auf Projektstatus, Nachrichtenfluss, Usability und Produktreife.

Eine Einführung in Multi-Agent-AI mit AutoGen

24. März 2024

Der Blogpost diskutiert die Anwendung von Multi-Agenten-Systemen in der Künstlichen Intelligenz und ihre Implementierung mit Autogen, einem Framework für solche Systeme. Es werden die Bausteine von Multi-Agenten-Systemen erläutert und der Nutzen von mehreren, spezialisierten Agenten in bestimmten Aufgabenbereichen aufgezeigt. Das Konzept und die Verwendung von Autogen werden im Detail beleuchtet. Ebenfalls thematisiert werden die Herausforderungen bei der Steuerung von Informationsflüssen und die Notwendigkeit von spezialisierten Tools.

Erforschung des Dark Genome mit Machine Learning zur Entwicklung neuartiger Krankheitsinterventionen

29. Februar 2024

350 Millionen, fast 5% der Weltbevölkerung leben mit einer seltenen Erkrankung. Etwa 75% der seltenen Erkrankungen betreffen Kinder. 80% dieser Erkrankungen entstehen durch eine einzige genetische Veränderung und können durch eine Genomanalyse diagnostiziert werden. Das menschliche Genom besteht aus etwa 3.3 Milliarden Bausteinen und jeder Mensch trägt etwa 3.5 Millionen Varianten. Die Suche nach der einen, pathogenen Variante, als Ursache der Krankheit, gleicht der Suche nach der Nadel im Heuhaufen.