Xiaomi открыла модель Xiaomi-OCR-0 для понимания документов

Xiaomi-OCR-0 построена на базе Qwen3.5-0.8B-Base. В одной модели команда объединила три задачи, которые в обработке документов часто разделяют: разбор страницы, извлечение заданных полей и ответы на вопросы по изображению. Разбор должен сохранять порядок чтения, структуру таблиц и математические формулы; результат можно получить в Markdown или LaTeX. Для чеков и форм модель извлекает поля в JSON. Такой вывод удобен там, где распознанные данные затем попадают в поиск или рабочий процесс.

Сложность начинается там, где точного распознавания отдельных букв недостаточно. В таблице нужно восстановить границы ячеек, в формуле – положение символов, а в счёте – связь суммы с нужным полем. По данным Xiaomi, модель получила 96,83 балла на OmniDocBench v1.6 и заняла первое место среди моделей меньше 1 млрд параметров. На пяти тестах визуальных вопросов по документам её средний результат составил 83,2 балла. Эти оценки относятся к указанным наборам задач: они не гарантируют той же точности на документах конкретной организации.

Отдельная проверка касалась изображений, полученных вне идеальных условий. Для Real5-OmniDocBench исследователи взяли 1355 страниц и создали 6775 изображений с помощью сканирования, изгиба бумаги, съёмки экрана, изменения освещения и наклонной съёмки. Xiaomi приводит результат 95,24 балла на этом тесте и 87,94 на Wild-OmniDocBench, где встречаются тени, блики и сложная перспектива. Для модели, которую планируют использовать с камерой телефона, такая проверка ближе к повседневным входным данным, чем ровные цифровые страницы.

Для обучения команда собрала около 170 млн примеров OCR и понимания документов. Разметку текста, таблиц и формул сверяли между несколькими специализированными моделями; сложные таблицы и формулы дополнительно проверяли повторным рендерингом результата в изображение. Обучение шло поэтапно: сначала модель училась соотносить текст с областями изображения и разбирать страницы, затем подключались задачи извлечения и ответов на вопросы. Вместе с весами Xiaomi выложила код инференса и подготовила демо, MCP-сервис и набор инструментов Agent Skill для подключения модели к другим системам.

В телефонах Xiaomi родственные технологии обработки экрана используются в «Супер Сяоай»: ассистент может выделить код получения заказа из сообщения, извлечь сумму и продавца из записи о покупке или подготовить карточку события по афише. Это примеры применения распознавания и понимания экранного содержимого, но опубликованные результаты бенчмарков сами по себе не измеряют качество каждого такого действия. Для открытой модели практическая проверка будет состоять из полного сценария: от изображения или скриншота до правильно заполненного поля либо ответа пользователю.