Команда OXR выпустила открытую модель для разбора документов

OXR рассчитана на документы, где извлечения строк текста недостаточно. Модель разбирает 13 типов элементов, включая таблицы, формулы, блоки кода и изображения, и сохраняет порядок чтения. Например, математические выражения она преобразует в LaTeX, а содержимое журнала может представить в структурированном Markdown. Это особенно существенно для страниц с несколькими колонками: если строки попадут в результат в неверном порядке, поиск по документу и последующие ответы модели получат искажённый контекст.

Разработчики заявляют о первых местах OXR в OmniDocBench, olmOCR-Bench и DocParsingBench; код и процедура оценки открыты для воспроизведения. На одной RTX PRO 6000 обработка 100 страниц заняла 101 секунду в опубликованном тесте. Это время сквозного разбора документа, а не скорость распознавания отдельного фрагмента: в него входит работа всей схемы обработки страниц.

В постобучении OXR использует рекурсивное самоулучшение, или RSI. Сначала модель разбирает документы без разметки, затем другая мультимодальная модель сверяет результат с изображением и относит случаи к верным, ошибочным или сомнительным. Система также несколько раз разбирает один документ и слегка меняет изображение – например, масштабирует или размывает его. Расхождения помогают найти случаи, в которых распознавание нестабильно. Сомнительные оценки при этом сохраняются отдельно, чтобы не превращать догадку проверяющей модели в уверенную обучающую метку.

После отбора ошибок проверяющая модель описывает их причины словами. SigLIP2 переводит эти описания в векторы, по которым система группирует похожие проблемы: например, неверное распознавание объединённых ячеек таблицы в документах разного вида. Генератор берёт тип проблемы и образцы оформления реальных страниц, создаёт тренировочные документы и возвращает прошедшие проверку примеры в обучение следующей версии OXR. Так новые данные направляются на конкретные слабые места, а не распределяются равномерно по всем видам документов.

Архитектура обработки тоже влияет на скорость. Отдельная лёгкая модель OXR определяет области страницы, а основная модель распознаёт их содержимое и устанавливает порядок чтения. Разметка областей остаётся заменяемым модулем: одну и ту же страницу можно по-разному делить на блоки в зависимости от задачи. Такое разделение позволяет настраивать обработку сложных макетов, не меняя модель, которая читает текст и связывает его части.