Es erscheinen laufend neue KI-Modelle, und jede Bestenliste sieht anders aus. Für Unternehmen ist nicht wichtig, welches Modell gerade vorne liegt, sondern welches zur Aufgabe passt.
Mit der Aufgabe beginnen
Dokumente auslesen, Mails einordnen oder komplexe Texte schreiben stellen unterschiedliche Anforderungen. Für einfache Aufgaben reicht oft ein kleines, günstiges Modell. Testen Sie mit Ihren eigenen Beispielen statt mit fremden Benchmarks.
Die wichtigsten Kriterien
- Qualität bei Ihrer Aufgabe
- Kosten pro Vorgang
- Antwortzeit
- Datenschutz und Datenstandort
- Verfügbarkeit und Support
Cloud oder selbst betrieben?
Cloud-Modelle sind schnell verfügbar und meist sehr leistungsfähig. Klären Sie Vertrag, Standort und Datennutzung. Selbst betriebene Open-Source-Modelle bieten mehr Kontrolle, brauchen aber Hardware und Betriebserfahrung. Oft ist eine Mischung sinnvoll: sensible Aufgaben lokal, der Rest in der Cloud.
Austauschbar bleiben
Bauen Sie so, dass sich das Modell wechseln lässt. Modelle ändern sich schnell, und feste Abhängigkeiten werden teuer. Halten Sie außerdem einen Testsatz echter Beispiele bereit, um ein neues Modell schnell bewerten zu können.
Einen eigenen Testsatz richtig aufbauen
Ein brauchbarer Modellvergleich beginnt mit echten Fällen aus Ihrem Betrieb. Nehmen Sie zum Beispiel für die Eingangsrechnungsprüfung gut lesbare PDFs, schiefe Scans, Rechnungen mit vielen Positionen und solche aus dem Ausland. Halten Sie zu jedem Beispiel fest, welches Ergebnis richtig wäre. Lassen Sie das von der Fachabteilung bestätigen, denn sie erkennt auch inhaltliche Feinheiten.
Der Testsatz sollte auch unlösbare Fälle enthalten. Fehlt die Bestellnummer auf einem Beleg, ist „nicht vorhanden“ die richtige Antwort. Ein Modell, das hier plausibel klingende Nummern erfindet, ist für diesen Einsatz gefährlicher als eines, das öfter nachfragt. Personenbezogene Daten sollten vor einem Test mit externen Anbietern entfernt oder der Einsatz vertraglich geklärt sein.
Fehler nach ihren Folgen gewichten
Eine einzige Trefferquote führt in die Irre. Wenn ein Modell den Lieferantennamen leicht falsch schreibt, fällt das bei der Prüfung auf und ist schnell korrigiert. Wird dagegen eine Bankverbindung oder ein Betrag falsch übernommen, kann ein echter Schaden entstehen. Bilden Sie also Fehlerklassen, und legen Sie vorab fest, welche Fehler den Einsatz ausschließen.
Bewerten Sie auch die Beständigkeit. Führen Sie dieselbe Anfrage mehrmals aus und prüfen Sie, wie stark die Antworten schwanken. Für einen automatischen Weiterverarbeitungsschritt sollte zudem das Ausgabeformat verlässlich sein. Ein starkes Textmodell hilft wenig, wenn sein Ergebnis regelmäßig die nachfolgende Schnittstelle stört.
Messen Sie außerdem die Antwortzeit unter realistischen Bedingungen. In einem Live-Chat merkt der Kunde jede Verzögerung, bei einer nächtlichen Belegverarbeitung spielt sie dagegen kaum eine Rolle. Schauen Sie deshalb auch darauf, wie sich das Modell bei vielen gleichzeitigen Anfragen verhält und wie Ihr Workflow reagiert, wenn der Dienst gerade nicht antwortet.
Modelle kombinieren statt eines für alles
Oft ist nicht die Wahl eines einzigen Modells die beste Lösung. Ein kleines Modell kann eingehende Mails vorsortieren, schwierige Fälle gehen an ein stärkeres. Wo ein feststehender Rechenweg existiert, etwa bei der Summenprüfung, braucht es gar kein Sprachmodell. Eine einfache Regel ist dort günstiger und nachvollziehbarer.
Betrachten Sie außerdem die Kosten je erledigtem Vorgang und nicht nur den Listenpreis je Anfrage. Ein günstiges Modell, dessen Ergebnis oft korrigiert werden muss, kann am Ende mehr kosten als ein teureres. Rechnen Sie die Prüfzeit der Mitarbeitenden daher in den Vergleich ein.
Modellwechsel als Routine vorbereiten
Damit Austauschbarkeit in der Praxis funktioniert, sollten Modellname, Prompt und Einstellungen an einer zentralen Stelle hinterlegt sein. Eine Zwischenschicht im Workflow verhindert, dass sie in vielen Abläufen verstreut sind. Halten Sie Prompts versioniert, denn ein neues Modell kann anders auf dieselbe Anweisung reagieren.
Gehen Sie bei einem Wechsel in Stufen vor. Erst läuft der Testsatz, dann läuft das neue Modell eine Zeit lang parallel, ohne dass seine Ergebnisse verwendet werden. Stimmen die Werte, übernimmt es zunächst einen Teil der Vorgänge. Behalten Sie auch die Ankündigungen der Anbieter im Blick, denn Modellversionen werden irgendwann abgekündigt. Gleichen Sie zudem bei jedem Wechsel ab, ob Vertrag, Standort und Datennutzung weiterhin zu Ihren Vorgaben passen.
Welcher Modellansatz passt zur Aufgabe?
| Aufgabe | Sinnvoller Ansatz | Wichtigstes Prüfkriterium |
|---|---|---|
| Mails in Kategorien einordnen | Kleines Modell, klar definierte Kategorien | Fehlzuordnungen in kritischen Klassen |
| Daten aus Dokumenten auslesen | Modell mit Dokument- oder Bildverständnis | Feldgenauigkeit und Umgang mit fehlenden Werten |
| Antworten aus der Wissensbasis | Modell mit Quellenanbindung | Treue zur Quelle und Umgang mit Wissenslücken |
| Längere Fachtexte entwerfen | Leistungsstarkes Modell, menschliche Prüfung | Fachliche Richtigkeit und Stil |
| Streng vertrauliche Verarbeitung | Selbst betriebenes Modell nach Prüfung | Qualität im Verhältnis zum Betriebsaufwand |
Checkliste für den Modellvergleich
Typische Fehler
Ein einzelner beeindruckender Chat sagt wenig über Ihren Alltag aus. Entscheiden Sie anhand eines dokumentierten Testsatzes, den jeder Kandidat gleich durchläuft.
Das verursacht unnötige Kosten und Antwortzeiten, wenn die Aufgabe einfach ist. Beginnen Sie mit dem kleinsten Modell, das Ihre Qualitätsgrenze erreicht, und leiten Sie nur schwierige Fälle weiter.
Auch ein eigener Betrieb braucht Rechtsgrundlagen, Sicherheit, Updates und Überwachung. Vergleichen Sie deshalb den Gesamtaufwand und lassen Sie die Datenschutzfragen trotzdem prüfen.
Häufige Fragen
Welches KI-Modell ist das beste für Unternehmen?
Ein allgemein bestes Modell gibt es nicht. Die Antwort ergibt sich aus Ihrer Aufgabe, Ihren Daten, den Qualitätsgrenzen und einem Test mit echten Beispielen.
Sind Open-Source-Modelle für Unternehmen geeignet?
Für viele Aufgaben können sie geeignet sein, vor allem wenn Kontrolle über die Verarbeitung wichtig ist. Prüfen Sie dabei die Lizenz, die Qualität bei Ihrer Aufgabe und den Betriebsaufwand.
Wie oft sollte man das KI-Modell überprüfen?
Prüfen Sie es in festen Abständen und bei jeder angekündigten Modelländerung. Ein vorhandener Testsatz macht diese Kontrolle überschaubar.
Von Patrick Thomas, KI Sidekick. Dieser Artikel ersetzt keine Rechts- oder Steuerberatung.
