201706-neuarbeiten-microsoft-video-indexer-titel.JPG

Nacktscanner für Filmclips: der Video Indexer

Dresden 30.06.2017
NEUARBEITEN hat seinem Namen wieder alle Ehre gemacht und nach Entwicklungen Ausschau gehalten, die die Arbeitswelt der nahen Zukunft grundlegend wandeln können.

Bei der täglichen Suche im Netz sind wir bis heute weitestgehend auf Textinhalte beschränkt gewesen. Doch Texte sind eben nur ein Informationsträger. Bild, Ton und Videos stecken voller wichtiger Infos, die sie aber zur Zeit noch recht erfolgreich für sich behalten. Denn bisher konnte lediglich nach Titel oder Schlagworten gesucht werden. Das Team von NEUARBEITEN hält stets die Augen nach Möglichkeiten offen, heutige Beschränkungen zu durchbrechen. Und wurde dabei in Sachen Videos-auf-den-Zahn-fühlen bei Microsoft fündig.
 
Das Software-Urgestein hat auf der „Build2017“-Konferenz nämlich seinen Video Indexer vorgestellt. Mit ihm sollen Videos besser durchleuchtet werden können. Der Dienst befindet sich zwar noch in einer Preview-Phase, hat aber bereits eine ganze Reihe an Features. Und die können auf einer Weboberfläche schon ausprobiert werden.

Für das Tool braucht man nur ein Microsoft-Konto und kann sofort loslegen. Es sind keinerlei besonderen Kenntnisse oder Fähigkeiten nötig – weder muss man sich in Machine Learning auskennen, noch Code schreiben können. Einfach in der Weboberfläche ein Video hochladen oder eine Video-URL angeben und schon geht’s los. Das Video wird analysiert und anschließend eine ganze Reihe an Infos präsentiert.
 
Die Features
 
Personen: Es werden mittels Face Detection Menschen erkannt und die Stellen im Video markiert, an denen diese Personen zu sehen sind. Um seine Privatsphäre braucht man sich jetzt aber keine Sorgen zu machen: Der Abgleich findet nur bei Personen des öffentlichen Lebens statt.

Stimmung: Die Äußerungen von Sprechern werden durch Sentiment Analysis einer Stimmungsanalyse unterzogen.

Schlagwörter: Werden markante Schlagwörter ausgesprochen, werden sie mit Speech-to-text-Analysis und Sentiment-Analysis erkannt und dem Video zugeordnet.

Transkription: Sozusagen als Sahnehäubchen wird für das gesamte Video ein Transkript erstellt. Dabei wird jedes gesprochene UND geschriebene Wort im Video erfasst und übersichtlichen wie in einem Drehbuch dargestellt. Dafür Verantwortlich zeichnen die Apps Speech-To-Text und Image-To-Text. Das Transkript kann durch einen Translator übrigens auch automatisch in eine andere Sprache übersetzt werden.

All diese Informationen sind nicht nur äußerst aufschlussreich. Mit ihnen zieht das Video vor uns praktisch blank. Man hat nicht nur alle seine gesprochenen und geschriebenen Wörter auf einen Blick (oder Klick), sondern kann nun auch nach Personen, Personen in Verbindung mit bestimmten Begriffen und Keywords suchen.

Um noch eins draufzulegen, werden die erkannten Personen und das Transkript im Video mit sogenannten Sprungmarken verknüpft: Durch das Klicken auf einen Satz spult das Video an die entsprechende Stelle vor. Damit kann man sich Untertitel aus der extrahierten Niederschrift in einer beliebigen Sprache direkt ins Video einblenden lassen – Simultanübersetzung Marke Eigenbau.

Eine Menge Möglichkeiten und Anwendungen

Durch die vorgestellten Features wird die Suche nach Informationen drastisch erweitert. Nutzer können nicht nur innerhalb des Transkripts nach gesprochenen Wörtern suchen, sondern auch nach bestimmten Sequenzen, Konstellationen oder Ereignissen: „Wo war gleich die Stelle, wo die X auf den Y trifft und ihm so richtig die Meinung geigt?“

Bei NEUARBEITEN kann man sich indes verschiedene Szenarien für die Praxis vorstellen.
So ließe sich dank der kompletten Übersicht über ein Video, Werbung punktgenau platzieren. Beispielsweise könnte das neue Deo von, sagen wir, Cristiano Ronaldo genau dann eingeblendet werden, wenn dieser ins Bild schreitet.

Sind für einen User nur bestimmte Abschnitte eines Videos nützlich, relevant oder angemessen, braucht er auch nur diese Stellen zu sehen – bisher ein Problem. Statt umständlichem Spulen, oder dem Zeigen des ganzen Filmchens, springt es einfach an die exakte Position. Sucht ein Schüler zum Beispiel nach „Berechnung von Integralen“ und findet ein Video über Grundlagen, Definitionen und Berechnung von Integralen, kann er direkt zum Abschnitt „Berechnung“ springen.

Ein aktuelles Anwendungsbeispiel für den Video Indexer ist Microsoft Stream – ein „Enterprise Video“-Service. Im Prinzip eine Art Youtube für Unternehmen. Firmenvideos können dort gespeichert werden und sind dank des neuen Tools vielseitig durchleuchtbar.

Der Video Indexer ist ein praktisches Tool, um auch aus Bewegtbildern eine Menge Informationen herauszukitzeln. Dadurch können Videogalerien auf das nächste Level gehoben werden.

NEUARBEITEN setzt das neue Werkzeug schon jetzt ein, um die Suchmöglichkeiten auf Plattformen wie Corporate Intranets, Videoarchiven, Videogalerien und Mediendatenbanken stark zu erweitern und zu optimieren. Man darf gespannt sein, wie das die Arbeit der Kunden in Zukunft vereinfachen und verändern wird.

 

Bildquelle: Headerbild © welcomia – Shutterstock, Screenshots: NEUARBEITEN

Kommentare

Weitere Artikel von NEUARBEITEN

Mit Machine Learning zum Sieg