В октябре в библиотеке Кабот Сайенс (Гарвардский университет) состоялся паблик-ток с Джеффом Стюардом, директором по цифровой инфраструктуре и инновационным технологиям Художественных музеев Гарварда, где он рассказал о новых инструментах работы с музейными данными.
Перед музейными сотрудниками всегда стоит большая задача систематизации коллекций. Эта объемная работа способствует доступности экспонатов широкой аудитории, исследователям в частности. Обладая коллекцией в 250 000 объектов, Художественные музеи Гарварда тоже ищут эффективный способ категоризации своих произведений искусства. Как в этом может помочь, например, искусственный интеллект (далее – ИИ)? Джефф Стюард считает, что необходимо описывать экспонат вне какого-либо контекста:
«Я не заинтересован в том, чтобы обучить машины думать, как я. Я хочу знать, что они, не обремененные знаниями по истории искусств и перспективой оценки произведений, думают сами по себе».
Стюард приводит пример экспериментов с четырьмя типами программного обеспечения для распознавания изображений – Microsoft Cognitive Services, Google Vision, Clarifai и Imagga. Ниже приведены ключевые слова, при помощи которых ИИ описывает картину венгерского живописца Дьёрдь Кепеша «Случайные паттерны».
| Google Vision | Microsoft Cognitive Services |
| искусство, стена, современное искусство, дерево, текстура, произведение искусства, дерево | грязная, живопись, ванная комната с граффити на стене |
Другая картина – «Натюрморт с арбузом» Сары Мириам Пил – была описана так:
| Microsoft Cognitive Services | Google Vision | Clarifai | Imagga |
| торт с фруктами на столе | Citrillus (латинское название арбуза) | нет человека 99,0 процента | сочная |
Как мы видим, описание Imagga показывают способность ИИ предлагать слова, передающие ощущения, которые могут возникнуть при употреблении фрукта.
Подобное машинное «зрение» похоже на первый поход в музей, когда посетитель не обладает какими-либо априорными знаниями. Таким образом, ИИ, как ни странно, гуманизирует процесс каталогизации: описание произведения больше похоже на то, каким оно представляется обычному человеку, а не эксперту.
Полученные данные музеи планируют использовать в качестве ключевых слов или терминов для поиска произведений искусства в базах данных Гарварда.
По материалам статьи