Российские ученые обучили ИИ читать свитки и книги, не раскрывая их

Ученые российской компании Smart Engines и ФИЦ ИУ РАН обучили искусственный интеллект извлекать содержимое хрупких свитков, не разворачивая их. Теперь получить восстановленный текст из манускрипта можно нажатием одной кнопки. Разработка позволит изучать тексты бумажных, берестяных и серебряных свитков и печатных книг, которые пострадали вследствие естественного старения, воздействия влажности или пожаров и хранятся в особых условиях.

Российские исследователи применили неразрушающий метод рентгеновской томографии и алгоритмы машинного зрения. Объект, который нельзя разворачивать, помещается в томограф. Затем реконструируется цифровая копия документа, над которой и производятся все дальнейшие манипуляции.

Это первая полностью автоматическая система виртуального разворачивания свитков, не требующая вмешательства человека. Проблему анализа старых свитков с привлечением томографии ученые по всему миру пытаются решить более двадцати лет, предлагая разные подходы с машинным обучением. Вопрос полной автоматизации процесса при этом до настоящего времени не был решен. Обычно человеку сначала нужно подобрать параметры, чтобы запустить работу алгоритмов – это требует немало времени и сил. Затем алгоритмы могут отработать неправильно, если, скажем, слои документа слиплись, и человеку снова придется вмешаться.

Разработка была профинансирована научно-исследовательской компанией Smart Engines и создавалась на базе Smart Tomo Engine – программного продукта для томографической реконструкции.

“Мы надеемся, что наша разработка позволит сделать шаг на пути исследования и сохранения культурного наследия и откроет новые возможности для историков, археологов и других специалистов в области гуманитарных наук. Сейчас мы активно ищем партнеров для проведения дальнейших исследований", – комментирует генеральный директор Smart Engines, доктор технических наук Владимир Арлазаров.

Для обучения нейросети использовался специально созданный учеными Smart Engines корпус данных, включающий шесть образцов свернутых разными способами документов. На них были предварительно нанесены буквы и цифры разного размера и схемы с различными графическими элементами.

Специально подготовленный датасет опубликован, научная статья будет представлена в августе текущего года на The International Conference on Document Analysis and Recognition (ICDAR) – ведущей международной научной конференции в области анализа и распознавания документов.