Salesforce führt den weltweit ersten LLM-Benchmark für CRM ein
Zürich – Salesforce hat den weltweit ersten LLM-Benchmark für CRM entwickelt, um Unternehmen die Bewertung von generativen KI-Modellen für Geschäftsanwendungen zu ermöglichen. Der Benchmark evaluiert LLMs (Large Language Models) für Vertriebs- und Service-Anwendungsfälle hinsichtlich Genauigkeit, Kosten, Geschwindigkeit sowie Vertrauen und Sicherheit. Die Bewertungen entstehen auf der Grundlage echter CRM-Datensätze von Salesforce und aus dem Kundengeschäft, sowie Expertenbewertungen sowohl durch Salesforce Mitarbeiter:innen als auch Kundinnen und Kunden.
Bei der Nutzung generativer KI in Geschäftsprozessen stehen Unternehmen vor der Herausforderung, das am besten geeignete Modell für ihre Einsatzzwecke zu identifizieren. «Die grössten, leistungsfähigsten Modelle sind oftmals zu kostspielig und liefern mehr, als eigentlich benötigt wird», so Clara Shih, CEO von Salesforce AI. In vielen Fällen seien Open-Source und/oder kleinere Modelle zu geringeren Kosten für viele Aufgaben mindestens genauso gut geeignet, so Shih weiter. Auch Geschwindigkeit und Benutzerfreundlichkeit bereiten Kopfzerbrechen. Der grösste Hemmschuh liegt bei der Datensicherheit, wenn gegebenenfalls vertrauliche Daten in das LLM eingespeist werden. Zu guter Letzt erschwert das exponentielle Wachstum der Modelllandschaft die Übersicht noch weiter.
Spezielle Anwendungsfälle in Vertrieb und Kundenservice
Um Unternehmen die Orientierung zu erleichtern, stellt Salesforce den branchenweit ersten LLM Benchmark für CRM bereit, der speziell für Einsatzszenarien in Vertrieb und Kundenservice optimiert wurde (siehe Bild im Anhang). Er bildet Anwendungsfälle wie Zusammenfassungen von Verkaufschancen, Interessentengewinnung, Vorfallsberichte, wissensbasierte Empfehlungen für Supportantworten und mehr ab. Da andere LLM-Benchmarks akademische und private Anwendungsfälle fokussieren, zu wenige Bewertungen durch Expert:innen berücksichtigen sowie Kriterien wie Genauigkeit, Geschwindigkeit, Kosten und Vertrauen nicht miteinbeziehen, sind sie für Unternehmen kaum relevant. Deshalb umfasst der Benchmark auch ein öffentlich einsehbares Leaderboard, das Unternehmen dabei hilft, die Effektivität von generativen, KI-gestützten CRM-Lösungen zu beurteilen und informierter zu entscheiden, welches LLM für ihre CRM-Anforderungen am besten geeignet ist.
Der Benchmark wird als dynamisches Framework kontinuierlich weiterentwickelt und ausgebaut. Unternehmen können darauf basierend fundiertere Entscheidungen treffen. Wenn beispielsweise ein Modell bei der Mehrzahl der Kriterien für einen Anwendungsfall geeignet erscheint, kann es im Hinblick auf die Genauigkeit durch Techniken wie Prompt Engineering und Feinabstimmung verbessert werden. Mit der Einstein 1 Platform von Salesforce können Kund:innen aus bestehenden LLMs auswählen oder eigene Modelle für ihre individuellen Anforderungen mitbringen. Der Benchmark unterstützt sie dabei, schneller zu einem erfolgreichen und effizienten Einsatz von KI-gestützten Lösungen zu gelangen.
Die Kriterien im Überblick:
Genauigkeit: Diese Metrik umfasst die vier Unterkategorien Richtigkeit, Vollständigkeit, Verständlichkeit und die Berücksichtigung der Eingabebefehle/Prompts. Denn nur präzise und korrekte Vorhersagen und Empfehlungen können durch informierte Aktionen in bessere Geschäftsergebnisse und Kundenerfahrungen münden.
Kosten: Die Messgrösse für Kosten bezieht sich auf die geschätzten Betriebskosten, die je nach CRM-Anwendungsfall variieren können, und wird basierend auf Perzentilen in die Kategorien hoch, mittel und niedrig eingeteilt.
Geschwindigkeit: Die Reaktionsfähigkeit und Effizienz des LLMs bei der Verarbeitung und Bereitstellung von Informationen verbessert das Nutzererlebnis, verkürzt beispielsweise die Wartezeiten für Kund:innen und ermöglicht es Vertriebs- und Serviceteams, Anfragen und Aufgaben zeitnah zu bearbeiten.
Vertrauen und Sicherheit: Hierbei geht es um die Fähigkeit des LLMs, sensible Kundendaten abzuschirmen, die Datenschutzbestimmungen einzuhalten, Informationen zu sichern sowie Voreingenommenheit und Toxizität zu vermeiden. Daraus ergibt sich ein Wert für die Zuverlässigkeit von LLMs für CRM, der für mehr Transparenz im Hinblick auf Vertrauen und Sicherheit sorgt. Mit dem Einstein Trust Layer können Unternehmen ihre vertrauenswürdigen Daten und Metadaten unabhängig von dem erreichten Wert in jedem Modell sicher nutzen, ohne dass diese dort gespeichert oder für Trainingszwecke genutzt werden.
«Unternehmen setzen auf KI, um schneller zu wachsen, Kosten zu senken und personalisierte Kundenerfahrungen zu liefern – nicht um einen Kindergeburtstag zu planen oder Othello zusammenzufassen», sagt Clara Shih. «Unsere Kund:innen haben nach einer zielgerichteten Methode gefragt, um die Vielzahl neuer KI-Modelle zu bewerten und das richtige für ihre Anforderungen auszuwählen. Unser erster LLM-Benchmark für CRM hilft ihnen, sich in der komplexen Landschaft der Modelle zurechtzufinden. Angelegt als sich dynamisch entwickelndes Framework, ermöglicht es Unternehmen, fundierte Entscheidungen zu treffen und ihre Erwartungen an Genauigkeit, Kosten, Geschwindigkeit und Vertrauen gegeneinander abzuwägen.» (Salesforce/mc/ps)
