Fine-tuning de LLM pela interface
Fine-tuning de LLM com LoRA/QLoRA sem código
- Memória de vídeo
- 16 GB
- Instalação
- ~10 min
- Acesso
- porta 7860
- Cobrança
- por hora, em reais
O LLaMA-Factory deixa o fine-tuning acessível: você escolhe o modelo base, aponta o conjunto de dados e acompanha o treino pela tela. LoRA e QLoRA permitem afinar modelos grandes em uma única placa.
LLaMA-Factory é uma UI web (LLaMA Board) para fine-tuning de LLMs open (Llama, Qwen, Mistral, etc.) com LoRA/QLoRA, sem escrever código. QLoRA de modelos 7B-13B cabe numa GPU de 24GB (RTX 4090). Inclui datasets de exemplo, avaliação e export de adaptadores.
Para que serve
- Ensinar ao modelo o vocabulário e o tom da sua empresa
- Afinar em português com dados próprios de atendimento
- Treinar com LoRA em uma placa só, cortando o custo
- Exportar os pesos e servir com o vLLM em seguida
Como subir
- Crie sua conta e adicione saldo em reais (Pix ou cartão, sem mensalidade).
- No console, escolha o template LLaMA-Factory e a máquina — o próprio console esconde as que não atendem ao requisito.
- Em cerca de 10 minutos a instalação termina e o endereço de acesso aparece no painel, na porta 7860.
Terminou? Basta destruir a máquina: a cobrança para junto. Nada de contrato ou franquia mínima.
Perguntas frequentes
Quanta memória de vídeo preciso?
Com QLoRA, 16 GB já afinam modelos de porte médio. Modelo maior ou treino completo pede 40 GB ou mais.
Preciso de quantos exemplos?
Alguns milhares de exemplos bem escolhidos costumam superar dezenas de milhares mal filtrados.
Onde ficam os pesos treinados?
Na sua máquina, prontos para baixar ou servir direto ali.