Die Vertraulichkeit von unternehmensinternen Informationen ist gerade im Umgang mit großen Sprachmodellen heikles Thema. Wir unterstützen nicht nur bei der DSGVO-konformen Implementierung von AI-Lösungen, sondern beraten auch in Bereichen wie Kosten, Security, Ausfallsicherheit und Skalierbarkeit. 

Mit dem Launch von ChatGPT und der OpenAI-API wurden Werkzeuge geschaffen, die kurzfristig und umfangreich offiziell (und inoffiziell) ihren Weg in Firmen schafften. Mit OpenAI auf Azure lässt sich inzwischen OpenAI in den Niederlanden und damit in der EU nutzen. Was auf der einen Seite die Produktivität steigern kann, führt zur gleichen Zeit zum Abfluss von unternehmensrelevanten Daten. So kann es ein Vorteil sein, wenn z. B. ChatGPT zur Validierung von gewonnener Erkenntnissen genutzt wird. Auf der anderen Seite bedeutet es auch, das diese Erkenntnisse und zugehörige interne Daten mit einem Drittsystem außerhalb des Unternehmens geteilt und dort verarbeitet werden. 

Beim Einsatz von AI-Technologien muss man nicht nur lernen, wie sie zu nutzen und zu etablieren sind, sondern auch sicherstellen, dass diese Nutzung den internen und rechtlichen Bedingungen gerecht wird.

Hier gibt es von Pseudonymisierung über Anonymisierung bis hin zum Eigenbetrieb von offenen Plattformen wie LLama2 und Falcon eine Vielzahl von Möglichkeiten, aus denen man sich bedienen kann.

Das könnte Dich auch interessieren.

Wann AI-Augmented Modernisierung das Richtige für Dich ist

AI-Augmented

Du hast bereits eine Idee?

Alles schön und gut, aber Du hast bereits eine Idee und möchtest mehr Kreativität in deinen Teams?

Verlässlicher Einsatz von AI mit vertraulichen Daten im Unternehmenskontext

Gemeinsam mit Dir ermitteln wir zunächst den Bedarf, der in Deinem Unternehmen für die Privatsphäre, für die Vertraulichkeit von Informationen und für die Compliance im Umgang mit großen Sprachmodellen existiert. Zusammen mit anderen Faktoren – wie Kosten, Security, Ausfallsicherheit und Skalierbarkeit – erstellen wir eine vergleichende Bewertung der verfügbaren Varianten und wählen mit Dir die Passende aus.

Modelle


Unserer Erfahrung nach sind vor allem folgende Modelle für unterschiedliche Einsatz-Szenarien sinnvoll.

  • OpenAI GPT-3.5 oder GPT-4 als API-Service von OpenAI selbst oder als Azure OpenAI Service
  • Antrophic Claude, Amazon Bedrock und  Google Bard als Service
  • Open-Source-Modelle wie Falcon180b oder Llama70B als externer Service über Huggingface & Co
  • Open-Source-Modelle im eigenen Rechenzentrum bzw. in der eigenen Cloud
  • FinOps-Infrastruktur auf Basis von Token 
  • Observability der LLM-Nutzung
  • Bereinigung um Personal Identifiable Information in der Kommunikation mit dem LLM und im Logging
  • Bereinigung um legale Entitäten zur Gewährleistung der Vertraulichkeit
  • Up- & Downscaling der GPU-Infrastruktur
  • Sammlung von trainingsrelevanten Daten wie Prompts und Feedback

Bereitstellung


Gemeinsam mit Deinem Operationsteam oder als Dienstleistung von uns unterstützen wir gerne bei der Bereitstellung der benötigten Betriebsumgebung. Diese Punkte sind uns dabei besonders wichtig.

Unsere Erfahrung

  • Als Early Adopter von Large Language Models haben wir früh viel Erfahrung sammeln können:
    • Die Implementierung von LegalTech-Lösungen (Demo auf Anfrage) führte zur Entwicklung von vertraulichen AI-Lösungen
    • die Zusammenarbeit mit Government-Institutionen zum Implementieren und Erweitern von lokal betriebenen LLMs
    • das im FinTech-Bereich gesammelte Zero-Trust-Know-how zur Entwicklung einer Zero-Trust-AI-Architektur

Transparent

  • Wir enablen Dein Team, von unterstützenden Workshops bis hin zur Begleitung bei der Implementierung. Du bist in jeden Schritt involviert und am Ende ist Dein Team in der Lage, selbständig mit dem entstandenen System zu interagieren.

Kooperativ

  • Durch aktive Zusammenarbeit in den Teams, der Softwarearchitektur und im Betrieb der Plattformen helfen wir nicht nur Hands-on, sondern tragen das Wissen über Entwicklung, Architektur und Bereitstellung direkt in Deine IT.

Wir glauben daran, dass AI einen deutlich höheren Kundennutzen erlaubt, wenn man sie richtig einsetzt. Und das heißt für uns, dass sie nicht nur einen kleinen Baustein beim Schreiben von Mails oder Artikeln oder ein externes Add-on darstellt, sondern eine tief integrierte Fähigkeit Ihrer IT-Landschaft. 

Mayflower

Kontakt

Du hast bereits erste Fragen oder eine Idee für eine konkrete Zusammenarbeit? Wir sind unter den Rufnummern unten jederzeit für einen Quick Call zu haben. Oder noch besser: Du füllst kurz unser Kontaktformular aus und wir verabreden uns für einen vorbereiteten ersten Austausch. Unsere Experten freuen sich auf dich.

Mehr Informationen zur Verarbeitung Deiner Daten und zu Deinem Widerrufsrecht findest Du in unserer Datenschutzerklärung.