Разработан бенчмарк, который выявил слабые места современных ИИ-моделей для дизайна белковых молекул

Одна из ключевых задач в дизайне белковых молекул – достроить целый белок вокруг заранее заданного структурного фрагмента так, чтобы он сохранил свою точную трехмерную форму. До сих пор у научного сообщества не было инструмента, который позволял бы отдельно проверять именно эту способность ИИ-моделей. Ученые из Института AIRI, НИУ ВШЭ и Constructor University представили GeomMotif – новый бенчмарк, предназначенный для решения этой проблемы. Работа представлена на конференции ICLR в Рио-де-Жанейро, Бразилия.

Главное отличие GeomMotif от существующих подходов состоит в том, что здесь фрагменты выбираются не по их биологической функции, а по геометрическим и физико-химическим свойствам. Такой подход важен, поскольку геометрия – центральное звено между последовательностью белка и его функцией. Ещё в 1960-е К. Анфинсен, удостоенный в 1972 году Нобелевской премии, показал, что последовательность аминокислот определяет пространственную структуру белка, а структура, в свою очередь, определяет его функцию. Для компьютерного проектирования белков это критично: отклонение в геометрии всего на один ангстрем может свести вероятность успеха эксперимента практически к нулю. Поэтому сначала важно научиться точно оценивать и контролировать геометрию, и только потом переходить к более сложным вопросам, связанным с функцией.

Для создания GeomMotif ученые использовали экспериментальные структуры белковых молекул высокого качества из базы Protein Data Bank. Они удалили дубликаты и дополнительно проверили, что каждая выбранная структура надежно воспроизводится вычислительными методами. Это было нужно для того, чтобы все задачи в бенчмарке были не только реалистичными, но и заведомо решаемыми. Это делает проверку надежной: если модель не справляется, проблема однозначно связана с ее ограничениями.

Мотивы для задач подбирали так, чтобы охватить как можно больше реальных сценариев проектирования белковых молекул. Исследователи учитывали их форму, размер, тип вторичной структуры, степень заглубленности, заряд и гидрофобность, чтобы бенчмарк позволял полноценно оценивать сильные и слабые стороны моделей.

Всего в GeomMotif представлено 57 задач, выстроенных по нарастающей сложности. ИИ-модель получает один или два мотива, содержащие в сумме от одного до семи непрерывных структурных фрагментов, вокруг которых затем должна достроить полноценные белковые молекулы при этом, не нарушив их пространственное расположение. Такой подход позволяет понять не только общий уровень модели, но и то, на каком этапе она начинает ошибаться. Так, один непрерывный фрагмент – сравнительно простая задача, несколько разрозненных фрагментов делают ее значительно сложнее, а два мотива, разнесенные в пространстве, требуют от модели учитывать дальние взаимосвязи внутри будущего белка.

Для оценки возможностей современных генеративных моделей исследователи протестировали десять систем двух типов. К первому относятся модели, работающие напрямую с трёхмерной структурой белка — RFdiffusion, Genie2, La-Proteina, Protpardelle-1c, FrameFlow и RFdiffusion2. Ко второму — модели, генерирующие аминокислотную последовательность, пространственная форма которой затем предсказывается отдельно; в эту группу вошли ESM3 и две версии DPLM (на 650 миллионов и 3 миллиарда параметров). Лидерами оказались структурные модели Genie2, La-Proteina и RFdiffusion. Модели, работающие с последовательностями, уступили им более чем на порядок, что указывает на принципиальные ограничения такого подхода при необходимости сохранять дальние геометрические связи.

Тестирование показало, что существующие бенчмарки с функциональными участками лидирующие модели проходят почти полностью, в то время как на GeomMotif лучшая модель набирает лишь 40 баллов из 100. Это говорит о серьезных ограничениях в геометрической точности. Самыми трудными для всех моделей оказались задачи с двумя участками и большим числом фрагментов. Кроме того, результаты зависят от биофизических свойств мотива и его окружения, поэтому у разных моделей проявились разные сильные и слабые стороны.

«В дальнейшем мы планируем ускорить систему проверки результатов и расширить бенчмарк на новые классы генеративных белковых моделей. В первую очередь речь идет о полноатомных моделях, которые учитывают все атомы белка, а не только его остов», — отметил Павел Страшнов, ведущий научный сотрудник группы дизайна белков Центра ИИ-разработки новых лекарственных препаратов Института AIRI