open imageSearch
Künstliche Intelligenz für Kunstsammlungen
Das ETH Library Lab entwickelt in Zusammenarbeit mit der Graphischen Sammlung ETH Zürich die Applikation „open imageSearch“ zur inhaltsbasierten Bildabfrage. An der Schnittstelle von künstlicher Intelligenz und digitaler Kunstgeschichte sollen damit sowohl die Katalogisierung und Digitalisierung von Druckgraphik effizienter gestaltet als auch die Veröffentlichung von kunsthistorisch relevanten Forschungsdaten gefördert werden.
Auch, oder vielmehr gerade im Zeitalter der global art history, sind Kunstgeschichte und Bildwissenschaft nicht ohne fortgesetzte Grundlagenforschung möglich. Das heisst konkret, dass die Erschliessung der Werke nach Urheber, Datierung und Bildthema unentbehrlich ist für ihre inhaltliche Interpretation.
Weil von einem Druckträger meist mehrere Abzüge existieren, hat die Katalogisierung hier einen wesentlichen Vorteil: Einmal erstellte wissenschaftlich verifizierte Metadaten zu einem Objekt sind auch für weitere Abzüge gültig und können deshalb von anderen Sammlungen übernommen werden. Voraussetzung dafür ist die Zugänglichkeit der Werkdatensätze in den entsprechenden Sammlungskatalogen. Doch solange dort die Suchoptionen auf Text- und Zeichenfelder beschränkt sind, ist es schwierig bis unmöglich, Werkabzüge zu finden, die bisher nicht eindeutig identifiziert sind oder die kaum über spezifische Bezeichnungen verfügen. Die automatisierte inhaltliche Bildabfrage ist daher als ergänzendes Suchverfahren eine wertvolle Alternative.
Mit der wachsenden Zahl der sammlungseigenen Datensätze, aber auch der bereitgestellten und verwertbaren Daten verschiedener Institutionen in Online-Datenbanken, steigt die Wahrscheinlichkeit der Identifikation eines Werkes enorm. Diese Quellen können nachhaltig genutzt werden für die Erschliessung unbearbeiteter Bestände.
In einem vorangehenden Projekt entwickelte das ETH Library Lab zusammen mit der Entomologischen Sammlung der ETH Zürich eine Applikation zur automatisierten Schmetterlingserkennung (BioDex). Aufbauend auf diesen Erfolg, sollen die dort gewonnenen Erkenntnisse nun in ein Folgeprojekt mit der Graphischen Sammlung einfliessen können.
open imageSearch wird für Museen, Sammlungen und Forschungsinstitutionen entwickelt, die Druckgraphik besitzen und ihre Bestände aufarbeiten wollen. Die Applikation wird mittels einer inhaltsbasierten Bildabfrage zuverlässige Resultate zu ähnlichen Werken aus den wissenschaftlich geprüften Beständen der Partnerinstitutionen liefern. Sie kann damit einen Beitrag zur Teilautomatisierung von Erschliessungs- und Digitalisierungsprozessen in Kunstsammlungen leisten.
Verwenden der ‚open imageSearch‘ App zum Abfragen von Metadaten und ähnlichen Werken (B.Sunderland, CC BY-SA 4.0)
Die Web-App ist über verschiedene Browser zugänglich. Zur Abfrage wird ein Bild des gesuchten Werkes benötigt. Der Datei-Upload erfolgt über ein responsives Frontend, so dass flexibel gearbeitet und die Applikation mit mobilen und stationären Endgeräten genutzt werden kann. Zudem kann auch direkt vor Ort mit dem Smartphone ein Foto einer Druckgrafik aufgenommen werden, um mit diesem eine Suche zu starten.
Über ein Convolutional Neural Network (CNN) wird anschliessend das Bild ausgewertet und anhand eines k-nearest neighbours (KNN)-Algorithmus die Ähnlichkeit zu den bereits bekannten Werken geprüft.
Die angezeigten Resultate können anhand der Basismetadaten identifiziert werden. Über eine Verlinkung zu den online zugänglichen Werkdatensätzen, die von den Eigentümern oder einem fachspezifischen Suchportal bereitgestellt werden, lassen sich die für eine Inventarisierung notwendigen weiteren Informationen und Nachweise qualitativ verlässlicher Quellen abfragen und bereits investierte Recherchearbeit effizienter nutzen. Ausserdem ist es möglich, interessante Suchanfragen über einen permanenten Link einfach zu teilen und so weiteren Personen zugänglich zu machen, oder diese für spätere Zwecke zu speichern. Der Fokus auf den Metadatenzugang und -austausch unterscheidet imageSearch von anderen Projekten wie imgs.ai, die ebenfalls in diesem Bereich arbeiten, und ist zugleich eine sinnvolle Ergänzung.
Die maschinelle Verarbeitung der Daten erlaubt die Verarbeitung einer grossen Menge an digitalen Bildern in sehr kurzer Zeit. So kann die aufwändige, der Katalogisierung vorangehende Recherchezeit zur Identifikation des gesuchten Werks wesentlich verkürzt werden. Finanzielle, personelle und zeitliche Ressourcen werden dadurch geschont und vereinfachen den zielgerichteten Einsatz dort, wo eine Automatisierung schwierig ist.
Überblick des Bildabfrageprozesses (Abzug: Paul Klee (1879), Rechnender Greis, 1928, https://doi.org/10.16903/ethz-grs-D_001318), Animation: B.Sunderland, CC BY-SA 4.0)
Um bei der Abfrage eine möglichst hohe Erfolgsquote zu erreichen, ist die Integration weiterer Datensätze geplant. Dadurch werden ausserdem die Präzision des Algorithmus verbessert und die Vorteile von Metadaten- und Bilderaustausch kontinuierlich gesteigert. Die Zusammenarbeit mit dem Deutschen Dokumentationszentrum für Kunstgeschichte – Bildarchiv Foto Marburg (Graphikportal) sowie weiteren Institutionen ist in Planung.
Projektdauer
1. Januar 2021 bis 31. Dezember 2021