**Дообучать нейронки теперь можно эффективнее с тем же бюджетом параметров** — исследователи Т-Технологий и МФТИ представили на международной конференции EMNLP метод SimplexLoRA 

Секрет в распределении ресурсов. Чтобы подстроить готовую модель под свою задачу, ее обычно не переобучают целиком: это слишком дорого. Вместо этого используют LoRA — к слоям модели добавляют небольшие обучаемые модули, и учатся только они. Но стандартная LoRA выделяет всем слоям одинаковое число параметров, хотя польза от них для конкретной задачи разнится.

SimplexLoRA сначала выясняет, какие слои важнее, и отдает им больше параметров, а остальным — меньше. Общий бюджет при этом не растет. На 12 тестовых задачах метод в большинстве случаев не уступал обычной LoRA или обходил ее при той же стоимости работы модели. Лучше всего подход раскрывается с небольшими адаптерами — то, что нужно, когда модель надо настроить под себя, а мощностей немного. Исходный код уже [залили](https://github.com/brain-lab-research/SimplexLoRA) на  GitHub.

Каждому слою — по потребностям