llm --train --project_name your_project_name --model TinyPixel/Llama-2-7B-bf16-sharded --data_path timdettmers/openassistant-guanaco --use_peft --use_int4 --learning_rate 2e-4 --train_batch_size 2 --num_train_epochs 3 --trainer sft --model_max_length 2048
Использую эту модельку: TinyPixel/Llama-2-7B-bf16-sharded
Новые данные отсюда беру: timdettmers/openassistant-guanaco
Использую: Google Colab T4 GPU
P.s.
Не бейте сильно, я сегодня начал изучать про fine tuning и nlp
Скорее всего дольше, поскольку Turing поколение уже заметно устаревшие Amper/ Ada поколения имеют заметные архитектурные и оптимизационные доработки
Обсуждают сегодня