Музеи Гарвардского университета используют искусственный интеллект

Share Button

В октябре в библиотеке Кабот Сайенс (Гарвардский университет) состоялся паблик-ток с  Джеффом Стюардом, директором по цифровой инфраструктуре и инновационным технологиям Художественных музеев Гарварда, где он рассказал о новых инструментах работы с музейными данными.

Перед музейными сотрудниками всегда стоит большая задача систематизации коллекций. Эта объемная работа способствует доступности экспонатов широкой аудитории, исследователям в частности. Обладая коллекцией в  250 000 объектов, Художественные музеи Гарварда тоже ищут эффективный способ категоризации своих произведений искусства. Как в этом может помочь, например, искусственный интеллект (далее — ИИ)? Джефф Стюард считает, что необходимо описывать экспонат вне какого-либо контекста:

«Я не заинтересован в том, чтобы обучить машины думать, как я. Я хочу знать, что они, не обремененные знаниями по истории искусств и перспективой оценки произведений, думают сами по себе».

Стюард приводит пример экспериментов с четырьмя типами программного обеспечения для распознавания изображений — Microsoft Cognitive Services, Google Vision, Clarifai и Imagga. Ниже приведены ключевые слова, при помощи которых ИИ описывает картину венгерского живописца Дьёрдь Кепеша «Случайные паттерны».

Google Vision Microsoft Cognitive Services
искусство, стена, современное искусство, дерево, текстура, произведение искусства, дерево грязная, живопись, ванная комната с граффити на стене

Другая картина — «Натюрморт с арбузом» Сары Мириам Пил — была описана так:

Microsoft Cognitive Services Google Vision Clarifai Imagga
торт с фруктами на столе Citrillus (латинское название арбуза) нет человека 99,0 процента сочная

Как мы видим, описание Imagga показывают способность ИИ предлагать слова, передающие ощущения, которые могут возникнуть при употреблении фрукта.

Подобное машинное «зрение» похоже на первый поход в музей, когда посетитель не обладает какими-либо априорными знаниями. Таким образом, ИИ, как ни странно, гуманизирует процесс каталогизации: описание произведения больше похоже на то, каким оно представляется обычному человеку, а не эксперту.

Полученные данные музеи планируют использовать  в качестве ключевых слов или терминов для поиска произведений искусства в базах данных Гарварда.

По материалам статьи