Запись DSML Reading Club #1: Byte Latent Transformer

Еламан Абдуллин рассказал про Byte Latent Transformer

Современные LLM опираются на токенизацию, что ограничивает их гибкость, снижает эффективность и делает их уязвимыми к редким и неформатным входам. Статья предлагает Byte Latent Transformer (BLT) — новую архитектуру, работающую напрямую с байтами. BLT использует динамические патчи, адаптирующиеся к сложности данных, и впервые достигает сравнимого с токенизированными моделями качества при лучшей эффективности и масштабируемости.

Смотреть видео: youtu.be/JN-adAvbAcs