📚 Módulo 2: PEFT — El Paradigma de Ajuste Fino Eficiente

2.1 Introducción a PEFT

PEFT (Parameter-Efficient Fine-Tuning) es un conjunto de técnicas que permiten adaptar modelos grandes actualizando solo una pequeña fracción de sus parámetros mientras se mantiene el resto congelado. Esto reduce drásticamente los requisitos de memoria, acelera el entrenamiento y mitiga el riesgo de olvido catastrófico.

El principio fundamental de PEFT es simple: no todos los parámetros del modelo necesitan ser actualizados para que el modelo aprenda una nueva tarea. En muchos casos, introducir pequeñas modificaciones estructuradas — como matrices de rango bajo, capas adaptadoras o cambios de activación — es suficiente para guiar al modelo hacia el comportamiento deseado.

PEFT no es un método único sino una familia de técnicas que incluye:

• LoRA (Low-Rank Adaptation)
• Capas Adaptadoras
• Ajuste de Prefijo / Ajuste de Prompt
• QLoRA (Quantized LoRA)

Entre estas, LoRA y QLoRA son actualmente las más populares y ampliamente adoptadas en la comunidad, gracias a su simplicidad, efectividad y excelente soporte en bibliotecas como Hugging Face PEFT.

2.2 Ventajas de PEFT sobre el Ajuste Fino Completo

2.3 Cuándo Usar PEFT

PEFT es ideal en los siguientes escenarios:

• Hardware limitado está disponible (GPU con 16GB o menos).
• El conjunto de datos de ajuste fino es pequeño (<10,000 ejemplos).
• Se quiere preservar el conocimiento general del modelo base.
• Se planea adaptar el mismo modelo base para múltiples tareas (aprendizaje multitarea).
• Se busca reducir los costos de entrenamiento y almacenamiento.
• Se está prototipando rápidamente o realizando experimentación iterativa.

PEFT no se recomienda cuando:

• El conjunto de datos de ajuste fino es extremadamente grande y diverso (en cuyo caso el ajuste fino completo puede dar mejores resultados).
• Se requiere un cambio radical en la distribución de salida del modelo (por ejemplo, cambiar completamente el vocabulario o dominio lingüístico).
• Se tiene acceso ilimitado a hardware de gama alta y el tiempo no es un factor limitante.