📚 Módulo 9: Gestión de Recursos y Problemas Comunes

9.1 Optimización de Memoria en Entornos Limitados (Colab)

Incluso con QLoRA, es posible el agotamiento de memoria en Colab. Estrategias:

a) Reducir per_device_train_batch_size

Comienza con 1 o 2. Compensa con gradient_accumulation_steps.

b) Reducir max_seq_length

Reduce de 512 a 256 o 384 si el contenido lo permite.

c) Usar torch.compile (experimental)

model = torch.compile(model)

Puede acelerar el entrenamiento y reducir la memoria, pero no siempre es estable.

d) Limpiar Caché CUDA

torch.cuda.empty_cache()

Útil después de cargar el modelo o entre experimentos.

9.2 Errores Comunes y Soluciones

Error: CUDA out of memory

• Reduce el tamaño del lote.
• Aumenta gradient_accumulation_steps.
• Reduce max_seq_length.
• Reinicia el entorno de ejecución de Colab y vuelve a cargar todo.

Error: Some weights of the model checkpoint ... were not used

Normal si se carga con trust_remote_code=True o se usa PEFT. No es crítico.

Error: ValueError: Attempting to unscale FP16 gradients.

Usa optim="adamw_bnb_8bit" o optim="paged_adamw_8bit" en TrainingArguments.

Advertencia: The model is not in eval mode

Ignorar. Trainer maneja el modo automáticamente.