AI4MediaData
Connecting Media with Usage Data
Asset Match – Datengestützte Entscheidungshilfen für inhaltliche Empfehlungen in Medienunternehmen
„Asset Match“ ist ein Ansatz, der auf Basis von Word-Embeddings inhaltliche Empfehlungen als datengestützte Entscheidungshilfen für die Auswahl von Inhalten für Mitarbeiter von Medienunternehmen erzeugt.
Die prototypische Anwendung „Asset Match“ unterstützt, indem bestehende Metadaten durch Verfahren der Künstlichen Intelligenz (KI) mit zusätzlichen Szenen- und Framebasierten Metadaten angereichert und Inhaltsempfehlungen ausgespielt werden, die auf Grundlage inhaltlicher Ähnlichkeit der Videos zur Suchanfrage passen. „Asset Match“ kann zusätzlich das Vertriebsteam von Medienunternehmen bei der Suche nach inhaltlich passendem Content aus dem eigenen Archiv unterstützen und hilft so, die Weiterverwertung von Content effizienter zu gestalten.
"Asset Match“ nutzt dafür die vorgestellte AI4MediaData-Plattform und fungiert als datengetriebene Entscheidungshilfe in Form eines Empfehlungssystems. Hierzu werden die Inhalte der umfangreichen Archive eines Medienunternehmens mit zusätzlichen Metadaten angereichert, ähnliche Inhalte verknüpft und auf Basis einzelner Assets zueinander passende Inhalte empfohlen (siehe Abbildung 1).
Abbildung 1: Datenbasierte Entscheidungshilfe durch intelligente Metadaten-Anreicherung
Ziel
Ziel des Teilprojekts „Asset Match“ ist es, Mitarbeiter:innen von Medienunternehmen einen Überblick über bestehenden Archive zu ermöglichen. Hierfür sollen anhand eines Assets inhaltlich ähnliche Assets empfohlen werden. Dabei werden Videos mit Hilfe verschiedener Mining Services automatisch analysiert, um die Metadaten aus audiovisuellen Inhalten anzureichern und anschließend mit intelligenten Verfahren Content-Empfehlungen auszuspielen.
Aufbau des "Asset Match"-Workflows
Im Mittelpunkt der Produktidee von „Asset Match“ steht die Funktionalität der inhaltlichen Empfehlung. Diese ermöglicht es, Inhalte über Genres hinweg aufgrund ihrer inhaltlichen Nähe oder Erzählstruktur den Mitarbeiter:innen von Medienunternehmen zu empfehlen, sodass diese einen besseren Überblick über ihre Datenbank erhalten.
Quellen von Rezipientendaten wurden mit Hilfe des Medienpartners als Muster für zukünftige VoD-Plattformen definiert und die Analyse der Nutzeranforderungen für die erste Produktidee „Asset Match“ durchgeführt. Anschließend konnte die fachliche und technische Durchführung mit Hilfe eines Proof of Concepts getestet und innerhalb einer ersten Prototypentwicklung realisiert werden. Durch die Integration des Modells in die entwickelte Software konnte zudem eine Audience- und Medienanalyse durchgeführt werden.
Schließlich wurden weitere Services zur Metadatengewinnung eingesetzt und der Prototyp um weitere Mining Services wie Keyword Extraction, Named Entity Recognition sowie Gesichtserkennung ergänzt (siehe Abbildung 2).
Abbildung 2: Schematischer Aufbau des „Asset Match“-Workflows
Mögliche Anwendungsfälle
Kuration
„Asset Match“ erzeugt zusätzliche Metadaten und vergleicht damit den im eigenen Media Asset Management-System bestehenden Content. So kann ähnlicher Content in der eigenen Datenbasis identifiziert werden, um das bestehende Programm mit passenden Inhalten zu erweitern. Dadurch kann das Nutzererlebnis der Rezipient:innen gesteigert werden.
Vertrieb
Welcher Content ist ähnlich zu jenem, den ein Kunde (zum Beispiel anderer Broadcaster im Ausland, VoD-Plattformbetreiber) in der Vergangenheit bereits gekauft und erfolgreich am Markt platziert hat? Mit „Asset Match“ können Vertriebsteams vielversprechenden passenden Content anbieten, individuelle Content-Pakete für Firmenkunden zusammenstellen sowie bestehende Angebote um passende Inhalte ergänzen (Upselling-Potentiale nutzen).
Einkauf
Auch bei der Suche nach Content, den ein Medienunternehmen selbst von Produktionsfirmen einkaufen könnte, unterstützt „Asset Match“ in Form einer datenbasierten Kaufentscheidung. Von Dritten angebotener Content kann durch „Asset Match“ analysiert werden, um zu prüfen, ob ähnlicher Content in der eigenen Datenbank des Medienunternehmens zu finden ist.
Getestete Mining Services
Task Definition
- Detecting human faces
- Identifying the faces given a face gallery
- Provide basic tools to create the gallery
Challenges
- Poor imaging conditions
- Facial expressions and aging
- Out of ordinary poses or occlusion
Implementation
- Facial landmarks based detection
- Face embeddings based recognition
- Using Dlib’s C++ Library
- Currently CPU only
Task definition
- Localization and recognition
- One-stage vs. two-stage methods
Challenges
- Intra-class variation
- Inter-class differentiation
Benchmark
- MSCOCO (80 object categories)
Evaluation
- Mean average precision (mAP)
Texte teilweise zitiert aus: FKT – Fachzeitschrift für Fernsehen, Film und Elektronische Medien, 11/2022, 33–38.