Letzte Aktualisierung: 1. Juli 2025

Multimodale KI in Aktion: Apps, die sehen, hören und führen

4. November 25

Reinhard Kurz

Die Arbeit wartet nicht auf eine Tastatur.
Es passiert in Werkstätten, in denen Techniker Fehlercodes fotografieren. In Geschäften, in denen Mitarbeiter Produkte zwischen Kunden scannen. In Krankenhäusern, in denen Ärzte ihre Beobachtungen unterwegs aufzeichnen. In Fabriken, in denen das Bedienpersonal den visuellen Verfahren Schritt für Schritt folgt.

Multimodale KI schließt diese Lücke. Durch die Verarbeitung von Bildern, Audio und Video zusammen mit Text treffen diese Anwendungen die Mitarbeiter dort, wo sie sich bereits befinden, und verwenden die Formate, die sie bereits verwenden.

Die Einschränkung ist nicht die Fähigkeit

Große Sprachmodelle sind bei der Textverarbeitung bemerkenswert ausgefeilt geworden. Die eigentliche Herausforderung ist der Kontext. Stellen Sie sich einen Techniker vor Ort vor Ort vor Ort vor Ort zur Verfügung, der

Die wichtigen Informationen liegen in mehreren Formen gleichzeitig vor:

Visuell: Der physische Zustand der Maschine, Anzeigelampen, Fehlercodes auf Bildschirmen, Verschleißmuster an Komponenten
Audio: Ungewöhnliche Geräusche, verbale Beschreibungen von Bedienern, die den Ausfall gesehen haben
Vorgehensweise: Schrittweise Reparaturprotokolle, die befolgt und überprüft werden müssen
Dokumentation: Anleitungen, Servicehistorien, Ersatzteilkataloge

Ein reiner Textassistent erzwingt die Übersetzung. Der Techniker muss das, was er sieht und hört, in getippte Beschreibungen umwandeln: „Das rote Licht auf dem oberen Bedienfeld blinkt dreimal, pausiert und blinkt dann zweimal.“

Wenn KI nur eine Modalität verarbeitet, hilft sie nur bei einem Teil der Arbeit.

Anpassung der Eingabemodalität an den Arbeitskontext

Die erste Frage für jeden KI-gestützten Workflow: Welches Format haben die Informationen von Natur aus?

Visuelle Eingaben sind sinnvoll, wenn Informationen räumlich oder physisch sind oder schneller erfasst als beschrieben werden können:

Zustand und Fehlerzustände der Ausrüstung
Produktdefekte oder -schäden
Scannen von Dokumenten und Formularverarbeitung
Standortbedingungen und Sicherheitsbeobachtungen

Audioeingänge eignen sich für Situationen, in denen die Hände beschäftigt sind, das Tippen unpraktisch ist oder sich das Sprechen natürlicher anfühlt:

Zwischen Aufgaben erfasste Feldnotizen
Zusammenfassungen und Follow-ups der Sitzung
Protokollierung von Kundeninteraktionen
Mehrsprachige Umgebungen, in denen Sprache leichter zugänglich ist als Text

Videoeingänge kommen zur Anwendung, wenn es auf Sequenz, Timing oder Demonstration ankommt:

Überprüfung und Schulung der Verfahren
Dokumentation des Vorfalls
Audits verarbeiten
Expertenberatung aus der Ferne

Der praktische Nutzen ist einfach: Eliminieren Sie den Übersetzungsschritt.

Von der passiven Reaktion zur aktiven Führung

Die Verarbeitung mehrerer Eingabetypen ist notwendig, reicht aber nicht aus. Der tiefgreifende Wandel führt dazu, dass die KI von der Beantwortung von Fragen zur Handlungsempfehlung übergeht. Herkömmliche Assistenten arbeiten reaktiv. Der Benutzer fragt, der Assistent antwortet, der Benutzer entscheidet, was als Nächstes kommt. Das funktioniert für das Abrufen von Informationen. Es ist unzureichend für verfahrenstechnische Arbeit.

Führen Sie eine Standardarbeitsanweisung mit fünfzehn Schritten durch. Ein textbasierter Assistent kann jeden einzelnen Schritt erklären, wenn er dazu aufgefordert wird. Aber er kann nicht:

Bestätigen Sie, dass der vorherige Schritt korrekt abgeschlossen wurde
Passen Sie die Leitlinien an die aktuellen Beobachtungen an
Melden Sie etwas Falsches, bevor der Benutzer weitermacht
Verfolgen Sie den Fortschritt während des gesamten Verfahrens

Die multimodale Fähigkeit ermöglicht ein anderes Muster. Die KI beobachtet die Arbeitsumgebung anhand von Bildern oder Videos, vergleicht das Gesehene mit den erwarteten Zuständen und passt die Anweisungen an die tatsächliche Situation an.

Beispiel: Arbeitsablauf bei der Geräteinspektion

Der Bediener scannt den QR-Code auf der Maschine. Das Inspektionsprotokoll wird gestartet.
Die KI zeigt den ersten Checkpoint mit visueller Referenz an.
Der Bediener nimmt ein Foto der Komponente auf.
Die KI vergleicht das Foto mit dem erwarteten Zustand. Bestätigt den akzeptablen Zustand oder weist auf Bedenken hin.
Der Prozess wird durch die verbleibenden Checkpoints fortgesetzt.
KI generiert einen vollständigen Inspektionsdatensatz mit Fotodokumentation.

Dadurch wird KI von einem Referenztool zu einem aktiven Teilnehmer. Die Anleitung wird kontextbezogen und basiert auf dem, was die KI tatsächlich beobachtet, und nicht generisch.

Praktische Anwendungen in allen Arbeitsumgebungen

Außendienst und Wartung

Techniker sind mit unbekannten Geräten, zeitweiligen Störungen und ständigem Zeitdruck konfrontiert. Multimodale KI beschleunigt die Diagnose, indem sie Fotos von Fehlercodes, ungewöhnlichen Komponentenzuständen oder Verkabelungskonfigurationen verarbeitet. Die Spracheingabe ermöglicht die freihändige Dokumentation während der Arbeit. Das Video erfasst sporadisch auftretende Probleme, die sich einer Textbeschreibung widersetzen.
Der Wert wird noch größer, wenn KI visuelle Beobachtungen mit Wartungshistorien, bekannten Problemen und Reparaturverfahren abgleicht. Es zeigt, was relevant ist, ohne dass der Techniker genau wissen muss, wonach er suchen muss.

Fertigung und Betrieb

Die Arbeit in der Werkstatt beinhaltet physische Prozesse, Sicherheitsprotokolle und Qualitätsstandards. Multimodale Anwendungen führen das Bedienpersonal mit visueller Überprüfung bei jedem Schritt durch die Verfahren, unterstützen mehrsprachige Teams durch Sprachinteraktion und dokumentieren Qualitätskontrollen mit fotografischen Beweisen.
Konsistenz ist hier wichtig. Wenn die KI überprüft, ob jeder Schritt den erwarteten Ergebnissen entspricht, bevor ein Fortschritt möglich ist, verbessert sich die Einhaltung der Verfahren, ohne dass der Aufsichtsaufwand steigt.

Rollen im Vertrieb und im Kundenkontakt

Kundeninteraktionen generieren Informationen in verschiedenen Formaten: aufgezeichnete Anrufe, Besprechungsnotizen, Produktfotos, Demonstrationsvideos. Multimodale KI verarbeitet diese Eingaben, um strukturierte Follow-ups zu generieren, CRM-Aufzeichnungen zu aktualisieren und Erkenntnisse für die nächsten Schritte zu gewinnen.

Schulung und Onboarding

Neue Mitarbeiter lernen durch Vorführung, Übung und Feedback. Die videobasierte KI-Anleitung unterteilt Verfahren in Schritte, überprüft die korrekte Ausführung und sorgt bei Bedarf für sofortige Korrekturen. Expertenwissen lässt sich skalieren, ohne dass eine ständige Verfügbarkeit der Trainer erforderlich ist.

Mit Blinkin weitermachen

Die Lücke zwischen KI-Fähigkeiten und Arbeitsrealität schließt sich.

Sind Sie bereit zu erfahren, wie multimodale KI die Arbeitsabläufe Ihres Teams unterstützen kann? Setzen Sie sich mit Blinkin in Verbindung, um Ihre spezifischen Anwendungsfälle zu besprechen und die Plattform in Aktion zu erleben.

Wichtige Erkenntnisse

Arbeit generiert Informationen in mehreren Formaten. Fotos, Sprachnotizen und Videos ergeben sich ganz natürlich aus der Feldarbeit, Kundeninteraktionen und betrieblichen Abläufen. KI, die nur Text verarbeitet, erzwingt unnötige Übersetzungen.
Die Anpassung der Eingabemodalität an den Kontext reduziert die Reibung. Wenn Techniker Fehlercodes fotografieren, Vertriebsmitarbeiter Notizen diktieren und die Bediener videogestützten Verfahren folgen, fügt sich KI in Arbeitsabläufe ein, anstatt sie zu stören.
Aktive Führung unterscheidet sich von passiver Reaktion. Die multimodale Fähigkeit ermöglicht es der KI, zu beobachten, zu verifizieren und zu steuern, nicht nur zu antworten. Dadurch wird die KI vom Referenztool zum Workflow-Teilnehmer.
Praktischer Wert erfordert praktisches Messen. Effizienzsteigerungen, Qualitätsverbesserungen und Einführungsmuster zeigen, ob multimodale KI echte betriebliche Auswirkungen hat.
Die Chance ist KI, die dort funktioniert, wo Arbeit stattfindet. Jenseits von Desktop-Chatfenstern, rein ins Feld, in die Werkstatt, hinein in die Kundeninteraktionen. KI, die im Kontext dorthin führt, wo es am wichtigsten ist.