Кто мне расскажет как использовать модели LoRa в нейросети Flux?

[Спаргл]

Ребята, кто мне расскажет как использовать модели LoRa в нейросети Flux? Говорят, что LoRA позволяет эффективно адаптировать предварительно обученную модель к новым задачам, не переобучая всю модель с нуля

[Annton]

Чтобы прикрутить LoRA к модели в Flux, тебе понадобятся две вещи: во-первых, сама предобученная модель, а во-вторых, реализация LoRA слоев. К счастью, есть несколько готовых библиотек и примеров, которые упрощают этот процесс. Можно поискать на GitHub репозитории, где реализованы LoRA слои для Flux. Тут можно почитать полезную инфу о том, как использовать модели LoRa в нейросети Flux https://forum.yesai.su/topic/349-neyros ... ra-v-flux/

[Южный]

Далее, процесс обучения стандартный: выбираешь оптимизатор, функцию потерь и запускаешь обучение. Единственное отличие – убедись, что обучаются только веса LoRA слоев, а веса основной модели "заморожены". После обучения веса LoRA слоев можно "слить" с весами основной модели, получив дообученную модель, или использовать LoRA слои отдельно, если хочешь сохранить оригинальную модель.