70B model
70B model
Определение
Языковая модель с 70 миллиардами параметров. Обучение требует распределённых методов, таких как ZeRO-3 и оптимизатор sharding, а fine-tuning возможен с использованием QLoRA на одном GPU.
Языковая модель с 70 миллиардами параметров. Обучение требует распределённых методов, таких как ZeRO-3 и оптимизатор sharding, а fine-tuning возможен с использованием QLoRA на одном GPU.