Was ist der SAP GenAI Hub?
Als Teil der SAP Business Technology Platform kann der GenAI Hub einfach als Cloud Service auf der SAP BTP aktiviert werden. Doch was steckt hinter dem SAP-Angebot? An wen richtet es sich? Und wie kann es konsumiert werden? Nachdem wir bereits die ersten Kundenprojekte erfolgreich mit dem GenAI Hub umgesetzt haben, wird es Zeit für einen Schulterblick. Larissa Haas, Senior Data Scientist bei sovanta, fasst die wichtigsten Fakten rund um den SAP GenAI Hub zusammen.
Zum Start: Das steckt dahinter
Der GenAI Hub ist ein Feature des SAP AI Core, durch das Large Language Models (LLMs) verwaltet, getestet und genutzt werden können. Als übersichtliche Plattform richtet sich der GenAI Hub vor allem an Software Developer und technisch versierte User, die erste Erfahrungen im Umgang mit LLMs und Generative AI machen möchten. Die Features reichen von einer klassischen API, die die Funktionen der LLMs über eine Schnittstelle im GenAI Hub zur Verfügung stellt, über einen Prompt-Editor, mit dem man verschiedene Prompts ausprobieren, an verschiedene LLMs senden und mit Einstellungen wie Temperature etc. spielen kann, bis hin zu einem LLM-Deployment-Management. Dort können individuell große, von der SAP zur Verfügung gestellte LLMs deployed und freigeschaltet werden, um so die Nutzung in verschiedenen Szenarien zu ermöglichen.
SAP AI Core, SAP AI Launchpad und SAP GenAI Hub
Der Gen AI Hub kann als Teil der SAP Business Technology Platform einfach als Cloud Service auf der BTP aktiviert werden. Die Subscription des GenAI Hubs ist Teil der Subscription für den SAP AI Core und kann über den extended Plan freigeschaltet werden. Voraussetzung ist die Subscription des SAP AI Launchpads, das keine zusätzlichen Service-Kosten beansprucht. Der extended Plan enthält alle Features, die auch im SAP AI Core Standardplan enthalten sind.
Der SAP GenAI Hub schließt eine Lücke
Will man flexibel verschiedene LLMs in unterschiedlichen Kontexten testen, ohne sich um das aufwändige Hosten von Modellen oder das zeitraubende Verwalten von vielen unterschiedlichen Subscriptions bei unterschiedlichen Anbietern kümmern zu wollen, ist der GenAI Hub die ideale Lösung. Sowohl lizenzpflichtige Modelle wie die von OpenAI, als auch OpenSource Modelle wie Falcon werden bereits jetzt unterstützt – in Zukunft soll diese Liste um bekannte Modelle wie Lama2, Aleph Alpha und noch weitere ergänzt werden. Zusätzlich plant die SAP eigene, auf SAP-Terminologie und Kontexte spezialisierte Foundation-Modelle über den GenAI Hub anzubieten. Und das Beste: Das alles mit nur einer Subscription des GenAI Hubs bei der SAP.
Zwei Arten von Use Cases passen gut
Passende Use Cases lassen sich grob in zwei verschiedene Stufeneinteilen: ad-hoc Nutzung und integrierte Nutzung.
- 1. Stufe – Ad-hoc Nutzung:
Hier geht es vor allem darum, erste Erfahrungen mit LLMs zu machen. Mithilfe des Editors können einzelne Prompts formuliert, getestet, verworfen und für die Wiederverwendung gespeichert werden. Außerdem kann schnell zwischen deployten Modellen gewechselt werden, um zum Beispiel das Verhalten verschiedener Modelle bei gleichen Fragestellungen zu testen. Das ist ein weiterer Pluspunkt gegenüber dem Ausprobieren direkt bei ChatGPT und Co. Zeigt sich ein Prompt oder eine Kombination mehrerer Prompts als besonders nützlich, kann die zweite Stufe in Angriff genommen werden. - 2. Stufe – Integrierte Nutzung:
Bei der zweiten Stufe wird der GenAI Hub über die API angesprochen und so in größere Prozesse integriert. Die Nutzung entfernt sich dabei vom “Chat”-Aussehen der bisherigen Tools, weil nun die Anfragen nicht mehr direkt von Menschen geschickt werden, sondern sich Systeme per API-Request an den Funktionalitäten der LLMs bedienen. So können zum Beispiel Antworten eines LLMs in einem Process Automation Workflow genutzt werden – versteckt auf Knopfdruck in einer externen Nutzeroberfläche oder im Hintergrund von Business Prozessen. Und das alles ganz ohne Nutzerinteraktion. Den Möglichkeiten sind hierbei keinerlei Grenzen gesetzt.
Weitere Inspirationen?
Kommen Sie gerne auf uns zu und lassen Sie uns über Ihre möglichen Use Cases mit dem GenAI Hub sprechen. Wir freuen uns auf den Austausch!
