Hugging Face представила модель Carbon-X для вопросов о последовательностях ДНК

Carbon-X разработали Hugging Face вместе с исследователями Zhongguancun Academy в Китае и Неаполитанского университета имени Федерико II. Модель принимает последовательность ДНК и вопрос на естественном языке, а затем отвечает в диалоговом формате. Это может помочь исследователю разобраться, как изменение участка последовательности связано с работой гена или здоровьем. Работа с ДНК требует особого представления входа: последовательность записывается буквами A, C, G и T, а смысл многих её участков пока остаётся предметом исследований.

Разработчики взяли существующую языковую модель и расширили её словарь так, чтобы она читала ДНК группами по шесть оснований. Затем обучение продолжили на 300 млрд токенов: в данные вошли геномные последовательности, английский текст и примеры, связывающие ДНК с биологическими описаниями. Последовательности охватывали людей и других млекопитающих, а также растения, грибы и ряд других организмов. Вирусные последовательности команда исключила из обучения из-за риска опасного применения.

За один запрос Carbon-X может обработать участок примерно в 50 тысяч пар оснований, поэтому загрузить в неё человеческий геном целиком нельзя. Пользователю придётся выбирать фрагмент, связанный с конкретным вопросом. Такой формат отличается от инструментов, которые выдают численный прогноз эффекта последовательности: здесь исследователь может сформулировать вопрос словами и получить объяснение в ответе. Диалог удобен при изучении гипотезы, но размер доступного фрагмента ограничивает контекст, который модель видит за раз.

У Carbon-X 14 млрд параметров. По словам исследователя Hugging Face Льюиса Танстолла, такой размер выбрали в том числе для локального запуска на оборудовании пользователя. Для лабораторий это связано с правилами обращения с идентифицируемыми и чувствительными данными пациентов: отправлять их во внешние модели может быть запрещено. Танстолл говорит, что при локальной работе данные не передаются Hugging Face или другой компании. Доступность такого режима, конечно, зависит от оборудования самой лаборатории.

Один из возможных сценариев – изучение мутации, которую исследователи считают кандидатом на роль причины заболевания. От того, верно ли определён её эффект, зависит выбор мишени для лекарства или генетической терапии: ошибка может сделать вмешательство бесполезным либо привести к нежелательным последствиям. Разработчики предупреждают, что прогнозы Carbon-X ещё не проверяли в лабораторных экспериментах. Поэтому ответы модели пока могут служить материалом для дальнейшей проверки, а не подтверждением того, что мутация вызывает болезнь.