Generierung von Metadaten und Verschlagwortung von Videoinhalten zur Erleichterung der Suche im Produktionsarchiv

Dokumentation. Ich weiß nicht wie es in anderen Medienhäusern ist, aber wir haben tatsächlich eine Abteilung bei uns, da sitzen Menschen vor PCs. Gucken sich in der Regel Factual Content an, also sowas wie Galileo, taff und red und dokumentieren das auf Shot-Ebene, was da passiert. Warum machen wir das? Damit uns dieser Content nicht verloren geht. Damit ich Content in Archiven wiederfinden kann, brauche ich sehr, sehr viele Informationen dafür. Durch dieses sogenannte Vertaggen wird überhaupt erst ermöglicht, dass ich ihn in meiner Suche wiederfinde. Und dieses Verschlagworten, heute der manuelle Prozesse, kann man heutzutage schon sehr, sehr gut mit Machine Learning einfach machen, indem man da verschiedenen Algorithmen darüber laufen lässt, die den Content analysieren und das abspeichern. Das ist kein hundertprozentig automatisierter Prozess, den wir da aktuell unterstützen. Der ist teilautomatisiert. Wir stellen quasi den Text zur Verfüfgung, ein Mensch schaut nochmal drüber, ob das nicht alles Quatsch ist, was da der Algorithmus identifiziert hat und dann wird es in das entsprechende Archivsysstem weitergeleitet.

Im Jahr 2017 startete ProSiebenSat.1 Media SE ein Forschungsprojekt zur Nutzung maschinell erzeugter Content-Metadaten. […] Ein Bereich, welcher dabei im Fokus stand, war das “Doku Center”. Das “Doku Center” ist das Produktionsarchiv bei ProSiebenSat.1 Meida SE, welches für die Archivierung, Dokumentation und Recherche von nichtfinktionalem Content, so genanntem “Factual Content”, verantwortlich ist. […] Die Basis für die Generierung maschineller Content-Metadaten und damit zentral für den Erfolg des Forschungsprojektes sind Algorithmen und Modelle aus dem Beriech “Video Mining”. “Video Mining” umfasst die Teilbereiche “Computer Vision” und “Audio Mining”, also das maschinelle Sehen von Computern und das damit verbundenen Extrahieren von Daten sowie das das Extrahieren von Informationen aus Sprache und akustischen Signalen. Dazu zählt beispielsweise die Umwandlung von gesprochenen Wörtern in Text […].
S. 12

Before I go into detail, let me give you a short introduction to our team. We are AI Platform Services, developing software solutions powered by AI, in one of the largest privately-owned media groups in Germany, ProSiebenSat.1 Media SE.
[…]
On the one hand, we are automating the documentation of content and on the other, we provide a solution to find the content easily. This is done by generating relevant metadata for video-content in the form of text, allowing editors to search the textual data to find the corresponding video. We achieve this by extracting pieces of information such as objects (cat, car, cake etc.), actions (dancing, kissing etc.) and celebrity information from the videos. In other words, by using AI video mining techniques, we generate descriptive metadata (visual and audio tags) for videos at frame level and aggregate them to provide tags at scene/video level. Using associated information and search options, the editors can search for relevant content in few seconds.

Auch der nächste Vortrag von Sebastian Döring und Alexander Engelhardt „Herausforderungen bei der Nutzung von Videomining-Tool bei ProSiebenSat.1 „befasste sich mit der Möglichkeit, intellektuelle Arbeit einer Automatisierung zu unterziehen. Konkret demonstrierten sie eine Software, die in naher Zukunft thematische Tags vergeben, thematische Clusterungen vornehmen, und Objekte, Handlungen, Personen, Emotionen Stimmungen und Gesichter erkennen soll. Momentan kann das Programm Objekte und Handlungen (400 verschiedene Handlungen wurden hinterlegt) erkennen, bei monothematischen Sendungen mit guten Ergebnissen, solange das zu erkennende im Bildfokus ist.

Herausforderungen bei der Nutzung von Videomining Tools bei ProSiebenSat.1
Sebastian Döring und Alexander Engelhardt (ProSiebenSat.1, Unterföhring)
Die manuelle Verschlagwortung von Content im Rahmen der Archivierung für die weiterführende Verwertung ist nach wie vor Standard in den Medienhäusern. Die technologischen Entwicklungen der letzten Jahre macht den Einsatz automatischer Videomining Tools aber zunehmend interessant. Dadurch kann sowohl die steigende Anzahl an produziertem und ausgestrahlten Content adressiert werden, als auch die Geschwindigkeit bei der Verschlagwortung erhöht werden. Außerdem kann Content, für den der manuelle Aufwand bisher zu hoch war, verschlagwortet oder zumindest formal klassifiziert werden. Eine Möglichkeit zur Lösung dieser Problematik könnte die Verwendung von Computer Vision Algorithmen sein, welche in der Lage sind, Bewegtbilder automatisiert zu analysieren und zu verschlagworten. Die Verwendung dieser Algorithmen aus dem Bereich des Machine Learning für die Mediendokumentation kann jedoch nicht einfach „Out of the Box“ erfolgen. […] Die Herausforderung besteht also darin, Algorithmen in der Form zu entwickeln oder nutzbar zu machen, dass diese qualitativ gute Ergebnisse über eine breite Masse an unterschiedlichem Content liefern und somit den manuellen Dokumentationsprozess sinnvoll unterstützen oder (teil-)automatisieren. Im Rahmen des Vortrags soll auf die Herausforderungen beim Einsatz von Computer Vision Algorithmen für die Mediendokumentation eingegangen und mögliche Lösungsansätze präsentiert werden. Dabei wird der Fokus nicht auf einer theoretischen Diskussion liegen, sondern vielmehr auf Beispielen aus der Praxis bei ProSiebenSat.1 und welche Ziele wir dabei verfolgen.