Teradata stellt erweiterte GenAI-Funktionen vor

8. Okt. 2024 | LOS ANGELES – TERADATA POSSIBLE

Neue „Bring-your-own-LLM“ Funktionalität in ClearScape Analytics ermöglicht es, GenAI-Anwendungsfälle mit NVIDIA einfach und kostengünstig bereitzustellen. Neue Integration mit der Full-Stack-AI-Plattform von NVIDIA sorgt für höhere Computing-Leistung

Teradata kündigte heute neue Funktionen für seine Analytics- und Datenplattform VantageCloud Lake und ClearScape Analytics an, die es Unternehmen ermöglichen, generative KI-Anwendungsfälle (GenAI) einfach zu implementieren und sofort einen Mehrwert zu erzielen: 

  • Bring Your Own Large Language Modells (BYO-LLM): Mit BYO-LLM in ClearScape Analytics können Teradata-Kunden kleine oder mittelgroße offene LLMs nutzen, einschließlich domänenspezifischer Modelle. Diese Modelle sind einfacher zu implementieren, kostengünstiger und bringen LLMs direkt zu den Daten – und nicht umgekehrt. Dadurch können Unternehmen teure Datenbewegungen minimieren und zugleich Sicherheit und Datenschutz maximieren. Mit BYO-LLM können Kunden mit VantageCloud Lake und ClearScape Analytics problemlos kleine oder mittelgroße LLMs von Open-Source-KI-Anbietern wie Hugging Face nutzen, der über 350.000 LLMs verfügt. 
     
  • Einsatz von GPUs oder CPUs: Teradata bietet Kunden nun zudem die Flexibilität, je nach Komplexität und Größe des LLM entweder GPUs oder CPUs einzusetzen. Die Vorteile von GPUs für Aufgaben wie Inferenzierung und Modell-Feintuning, die auf VantageCloud Lake verfügbar sein werden, sind höhere Geschwindigkeit und bessere Performance. Die ebenfalls heute angekündigte Zusammenarbeit von Teradata mit NVIDIA umfasst die Integration der NVIDIA AI Full-Stack-Plattform in die Teradata Vantage-Plattform zur Beschleunigung großer und kleiner, vertrauenswürdiger KI-Workloads. Die NVIDIA AI Full-Stack-Plattform umfasst NVIDIA NIM, einen Teil von NVIDIA AI Enterprise für die Entwicklung und Bereitstellung von GenAI-Anwendungen. 

Echte Generative KI (GenAI) mit Open-Source-LLMs

Generative KI ist kein Hype mehr, sondern Realität. Unternehmen sind daher an einer umfassenden KI-Strategie mit praktischen Anwendungsfällen interessiert, die einen unmittelbaren Geschäftswert schafft. Laut einer aktuellen Umfrage erwarten 84 Prozent der Führungskräfte einen ROI aus KI-Initiativen innerhalb eines Jahres. Mit den Fortschritten bei Large Language Models (LLMs) und dem Aufkommen kleiner und mittlerer Modelle können KI-Anbieter zweckmäßige Open-Source-Modelle liefern, die eine erhebliche Vielseitigkeit in einem breiten Spektrum von Anwendungsfällen bieten, jedoch ohne die hohen Kosten und die Komplexität ihrer größeren Pendants.

Unternehmen haben erkannt, dass größere LLMs nicht für jeden Anwendungsfall geeignet sind und hohe Kosten verursachen können. BYO-LLM ermöglicht es Nutzern, das beste Modell für ihre spezifischen Geschäftsanforderungen auszuwählen. Laut Forrester planen 46 Prozent der KI-Führungskräfte, vorhandene Open-Source-LLMs in ihrer generativen KI-Strategie zu nutzen. Kleinere LLMs sind in der Regel domänenspezifisch und auf konkrete, reale Anwendungsfälle zugeschnitten, wie beispielsweise:

  • Einhaltung gesetzlicher Vorschriften: Banken verwenden spezialisierte LLMs, um E-Mails mit potenziellen regulatorischen Auswirkungen zu identifizieren und so den Bedarf an teurer GPU-Infrastruktur zu reduzieren.
     
  • Analyse von Krankenakten: LLMs können Arztbriefe analysieren, um die Informationsextraktion zu automatisieren und so die Patientenversorgung zu verbessern, ohne dass sensible Daten übertragen werden müssen. 
     
  • Produktempfehlungen: Durch die Verwendung von LLM-Einbettungen in Kombination mit datenbankinternen Analysen von Teradata ClearScape Analytics können Unternehmen ihre Empfehlungssysteme optimieren.
     
  • Analyse von Kundenbeschwerden: LLMs helfen bei der Analyse von Beschwerdethemen, Stimmungen und Zusammenfassungen und integrieren Erkenntnisse in eine 360-Grad-Ansicht des Kunden, um bessere Lösungsstrategien zu entwickeln.

Teradata steht für ein offenes und vernetztes Ökosystem. Dies ermöglicht es, dass Kunden von Teradata mit der Markteinführung weiterer LLMs mit der Innovation Schritt halten und BYO-LLM nutzen können, ohne sich an einen Anbieter zu binden.

GPU-Analytic-Cluster für Inferenz 

Durch die Erweiterung von VantageCloud Lake um die vollständige Unterstützung für NVIDIA-beschleunigtes Computing wird Teradata seinen Kunden LLM-Inferenzierung bereitstellen. Dadurch soll ein besserer Mehrwert und eine höhere Kosteneffizienz für große oder hochkomplexe Modelle erzielt werden. NVIDIA-beschleunigtes Computing ist darauf ausgelegt, große Datenmengen zu verarbeiten und Berechnungen schnell durchzuführen. Dies ist für die Inferenz von entscheidender Bedeutung ist, bei der ein trainiertes Machine Learning-, Deep-Learning- oder Sprachmodell verwendet wird, um Vorhersagen oder Entscheidungen auf der Grundlage neuer Daten zu treffen. Ein Beispiel hierfür ist im Gesundheitswesen die Überprüfung und Zusammenfassung von Arztberichten. Durch die Automatisierung der Extraktion und Interpretation von Informationen können sich Gesundheitsdienstleister stärker auf die direkte Patientenversorgung konzentrieren. 

GPU-Analytic-Cluster für Model Fine-Tuning 

VantageCloud Lake unterstützt auch die Feinabstimmung (Fine-Tuning) von Modellen über GPU und ermöglicht es Kunden, vorab trainierte Sprachmodelle an den Datensatz ihrer eigenen Organisation anzupassen. Diese Anpassung verbessert die Genauigkeit und Effizienz des Modells, ohne dass der Trainingsprozess von Grund auf neu gestartet werden muss. Ein Chatbot für Hypothekenberater muss beispielsweise darauf trainiert werden, in Finanzsprache zu antworten – eine Erweiterung der natürlichen Sprache, auf der die meisten grundlegenden Modelle trainiert werden. Durch die Feinabstimmung des Modells mit Bankterminologie werden die Antworten angepasst, sodass sie besser auf die Situation zugeschnitten sind. Auf diese Weise will Teradata es seinen Kunden ermöglichen, die Anpassungsfähigkeit ihrer Modelle zu erhöhen und die Wiederverwendbarkeit von Modellen durch die Nutzung beschleunigter Datenverarbeitung zu verbessern. 

„Teradata-Kunden möchten schnell vom Experimentieren hin zur sinnvollen Anwendung von generativer KI übergehen“, sagte Hillary Ashton, Chief Product Officer bei Teradata. „Die neue BYO-LLM-Funktion in ClearScape Analytics in Kombination mit der Integration von VantageCloud Lake in die Full-Stack-AI-Plattform von NVIDIA bedeutet, dass Unternehmen das volle Potenzial von GenAI effektiv, erschwinglich und auf vertrauenswürdige Weise nutzen können. Mit Teradata können Organisationen das Beste aus ihren KI-Investitionen machen und einen echten, schnellen Geschäftswert erzielen.“

Verfügbarkeit 

ClearScape Analytics BYO-LLM für Teradata VantageCloud Lake wird im Oktober allgemein auf AWS und im ersten Halbjahr 2025 auf Azure und Google Cloud verfügbar sein. 

Teradata VantageCloud Lake mit NVIDIA AI-beschleunigter Computing-Leistung wird im November zunächst allgemein auf AWS verfügbar sein. Die Inferenzfunktionen werden im vierten Quartal 2024 hinzugefügt und die Verfügbarkeit von Fine-Tuning erfolgt im ersten Halbjahr 2025. 
 

Über Teradata

Bei Teradata sind wir überzeugt, dass Menschen erfolgreicher sind, wenn sie über bessere Informationen verfügen. Unsere Cloud-Analytics- und Datenplattform für KI liefert harmonisierte Daten und vertrauenswürdige KI/ML. Unternehmen können dadurch bessere Entscheidungen treffen, schneller Innovationen vorantreiben und nachhaltige Geschäftsergebnisse schaffen. Erfahren Sie mehr auf: Teradata.de.