Das klassische Information Retrieval (IR) bezieht sich auf die Prozesse, die mit dem Suchen und Finden von Information in Textkollektionen verbunden sind. Diese sind im Großen und Ganzen sehr weit ausgereift und in der Lage, Textkollektionen zu Indexieren, zu verteilen, zu archivieren, Metriken zu berechnen und Retrievalmodelle (bspw. AdHoc Retrieval, Filtering) umzusetzen. Der Bereich „Multimedia Information Retrieval (MMIR)“ wendet diese Techniken an, um den Zugriff auf beliebige Multimedia Objekte (Bild, Ton, Video) zu ermöglichen. Hierzu werden Multimedia Merkmale extrahiert. Dies sind kleine Informationseinheiten, die bestimmte Eigenschaften von Multimedia Objekten repräsentieren können. Auf Basis dieser Merkmale können dann die Methoden des klassischen IR angewandt werden.
Multimedia Kollektionen sind jedoch in vielen Punkten unterschiedlich zu reinen Textkollektionen und müssen daher auch spezifisch behandelt werden. Smart Multimedia Information Retrieval umfasst MMIR-Konzepte, die sich durch besondere Effizient (ziemlich gut), Effektivität (ziemlich schnell), Erklärbarkeit (ziemlich ausdrucksstark und nachvollziehbar) und Skalierbarkeit (ziemlich groß und viel) auszeichnen. Eine Übersicht und weitere Informationen dazu finden Sie hier:
Die Konzepte des Smart Multimedia Information Retrieval wurden im Rahmen eines allgemeinen Frameworks umgesetzt, welches zu Forschungs- und Lehrzwecken zur Verfügung steht und auch die Basis für eine Reihe von Projekten bildet.
Algorithmen und Metriken für hochskalierbares Multimedia Processing
Multimedia Objekte, wie Bilder, Videos oder Grafiken werden immer detaillierter, die Auflösungen immer höher und gleichzeitig werden immer mehr Multimedia Objekte aufgezeichnet. Wir haben es also nicht nur mit größeren, sondern auch mit deutlich mehr Objekten zu tun, deren Detailreichtum für jede Art von Multimedia-Anwendung eine Herausforderung darstellt. Im Rahmen diverser Forschungsprojekte konnten wir für derartige Kollektionen Algorithmen und Metriken entwickeln, die lineare statt exponentielle Skalierung ermöglichen und somit gerade in großen Projekten für einen extremen Performance-Gewinn sorgen können.
Das Generic Multimedia Analysis Framework (GMAF)
Das Generic Multimedia Analysis Framework (GMAF) und Multimedia Feature Graphs (MMFG) sind Datenstrukturen und Applikationen, die die Repräsentation von Multimedia Merkmalen (sog. Features) vereinheitlichen und die Analyse und Extraktion von Multimedia Merkmalen durch zahlreiche Plugins standardisieren. Als zentrale Indexstruktur werden Graph Codes eingesetzt, die sich durch extrem hohe Effizienz bei großen Datenmengen auszeichnen und somit sehr gut in schnell wachsenden, großen Multimedia Kollektionen eingesetzt werden können.
Auf Basis des GMAF können Abschlussarbeiten und / oder Projekte realisiert werden. Diese Seite dient daher als Startpunkt, um in die Konzepte und Mechanismen von GMAF, MMFG und Graph Codes einzusteigen. Beginnen Sie am Besten mit folgenden Publikationen:
GMAF Wiki und Github Repository:
Schnellstart Anleitungen