- Los requisitos del sistema de GLM Legal giran en torno al modelo law-glm-10b: un modelo de IA legal basado en GLM con 10 mil millones de parámetros.
- El repositorio del modelo pesa aproximadamente 39.5 GB, así que planifica más de 50 GB de espacio libre en disco.
- La inferencia local con Transformers normalmente requiere una GPU con 24 GB o más de VRAM, o recurrir solo a CPU con velocidad reducida.
- Stack de software: Python, PyTorch, Hugging Face Transformers, además del ajuste
trust_remote_code. - El modelo está licenciado bajo Apache-2.0 y alojado en Hugging Face.
Comprender los Requisitos del Sistema de GLM Legal
GLM Legal se refiere a los modelos law-glm-10b y law-glm-10b-v2 publicados bajo la organización law-llm en Hugging Face. Son modelos de lenguaje con arquitectura GLM ajustados (fine-tuned) para la comprensión de textos legales chinos, por lo que sus requisitos del sistema siguen el patrón de cualquier modelo abierto de 10 mil millones de parámetros: el cuello de botella es la memoria de la GPU, seguida del espacio en disco y la RAM de la CPU.
Antes de descargar nada, revisa el perfil base a continuación. Ten en cuenta que "GLM Legal" es el nombre de un sitio comunitario/de contenido para la familia de modelos law-glm-10b — no hay ningún instalador ni lanzador independiente de qué preocuparse.
| Componente | Mínimo | Recomendado |
|---|---|---|
| Parámetros del modelo | 10B (law-glm-10b) | 10B (law-glm-10b-v2) |
| Tamaño del archivo del modelo | ~39.5 GB | ~39.5 GB + margen de caché |
| Espacio libre en disco | 50 GB | 80+ GB (SSD) |
| VRAM de GPU (FP16) | 24 GB | 32–48 GB o multi-GPU |
| VRAM de GPU (cuantizado) | 12–14 GB (INT8/INT4) | 24 GB |
| RAM del sistema | 32 GB | 64 GB |
| Sistema operativo | Linux (Ubuntu 20.04+) | Linux con CUDA 11.8+ |
Verifica siempre el listado actual de archivos en el repositorio del modelo — los fragmentos de pesos, los archivos del tokenizador y la configuración pueden cambiar entre law-glm-10b y law-glm-10b-v2.
Comparación de Niveles de Hardware
No todas las máquinas pueden ejecutar cómodamente un modelo de 10B. Usa este desglose por niveles para equiparar tu hardware con un modo de despliegue realista.
Nivel de Entrada (Cuantizado)
- 12–14 GB de VRAM o solo CPU
- Cuantización INT4/INT8 obligatoria
- Inferencia más lenta, aceptable para pruebas
- Bueno para experimentos de prompts
Nivel Estándar (GPU Única)
- 24 GB de VRAM (p. ej., clase RTX 3090/4090)
- Inferencia en FP16 o BF16
- Tamaño de lote cómodo de 1–4
- El mejor ajuste para la mayoría de desarrolladores
Nivel Pro (Multi-GPU)
- 48 GB+ de VRAM entre GPUs
- Lotes más grandes, contextos más largos
- El fine-tuning se vuelve viable
- Adecuado para cargas de investigación
| Modo de despliegue | VRAM necesaria | Velocidad | Mejor para |
|---|---|---|---|
| Inferencia en CPU | 0 GB (32–64 GB RAM) | Muy lenta | Solo verificaciones básicas |
| GPU cuantizada INT4 | ~12–14 GB | Moderada | Portátiles, pruebas con GPU única |
| FP16 GPU única | ~22–24 GB | Rápida | Flujos diarios de QA legal |
| Multi-GPU FP16 | 48 GB+ | La más rápida | Procesamiento por lotes, evaluación |
Cargar un modelo de 10B en FP16 asigna aproximadamente 20 GB solo en pesos. Si tu GPU tiene menos VRAM de la que requiere el checkpoint, espera errores de falta de memoria en lugar de una degradación gradual — cuantiza o divide el modelo en su lugar.
Requisitos de Software y Pasos de Configuración
El stack de software es sencillo: Python 3.8+, PyTorch con soporte CUDA y Hugging Face Transformers. Debido a que la arquitectura GLM incluye código de modelado personalizado, necesitarás trust_remote_code=True al cargar tanto el tokenizador como el modelo.
| Software | Guía de versión | Propósito |
|---|---|---|
| Python | 3.8–3.10 | Entorno de ejecución |
| PyTorch | 2.x con CUDA 11.8+ | Operaciones de tensores en GPU |
| Transformers | Última versión estable | Carga de modelo/tokenizador |
| Controlador CUDA | 11.8 o más reciente | Aceleración por GPU |
| Git LFS | Última versión | Descargar fragmentos de pesos grandes |
Prepara el entorno
Crea un entorno virtual de Python dedicado o un entorno conda e instala PyTorch que coincida con tu versión de CUDA. Verifica la visibilidad de la GPU con una comprobación rápida del dispositivo.
Instala Transformers
Instala Hugging Face Transformers y sus dependencias. La familia GLM depende de código de modelado remoto, así que mantén Transformers razonablemente actualizado.
Descarga el modelo
Descarga law-llm/law-glm-10b (o -v2) desde la página del modelo en Hugging Face. Asegúrate de que Git LFS esté instalado para que los ~39.5 GB de fragmentos de pesos se descarguen por completo.
Carga con trust_remote_code
Carga tanto el tokenizador como el modelo con trust_remote_code=True. Esto ejecuta el código Python personalizado del repositorio — hazlo solo desde fuentes en las que confíes, y revisa el código si operas bajo políticas de seguridad estrictas.
Ejecuta una primera inferencia
Envía una pregunta legal china breve o un prompt de extracción de cláusulas y confirma la salida antes de escalar a documentos más largos o lotes.
El parámetro trust_remote_code es necesario para los checkpoints de la familia GLM alojados fuera de la biblioteca principal de Transformers. Es una práctica estándar para esta familia de modelos, pero los equipos empresariales deberían incluirlo en su lista de verificación de seguridad.
Consideraciones de Almacenamiento, Red y Datos
Más allá del cómputo puro, planifica el crecimiento del almacenamiento y el ancho de banda. Cada variante pesa aproximadamente 39.5 GB, y mantener tanto law-glm-10b como law-glm-10b-v2 duplica esa huella.
- Usa una SSD para los pesos — cargar más de 20 GB de fragmentos desde un disco mecánico añade minutos a cada inicio.
- Reserva un margen para la caché de Hugging Face; las descargas parciales son la causa más común de cargas corruptas.
- Una conexión de banda ancha estable importa: una descarga fallida a los 35 GB despericia horas.
- Mantén las copias cuantizadas separadas de los originales FP16 para evitar confusiones durante la evaluación.
Lista de Verificación Pre-Descarga:
- Verifica 80+ GB de espacio libre en SSD para ambas variantes
- Instala Git LFS y autentícate con Hugging Face
- Confirma que la versión del controlador CUDA coincida con la compilación de PyTorch
- Configura la caché HF_HOME en una unidad con espacio suficiente
- Prueba la descarga de la configuración y el tokenizador antes de los pesos completos
Las páginas del modelo indican una licencia Apache-2.0, por lo que el despliegue local para investigación y muchos usos comerciales está permitido — aun así, revisa el texto de la licencia en el repositorio antes de la integración en producción.
Preguntas Frecuentes
Q: ¿Puedo ejecutar GLM Legal sin GPU?
Sí, pero lentamente. La inferencia solo con CPU de un modelo de 10B funciona para prompts cortos con 32–64 GB de RAM del sistema, aunque la generación puede tardar minutos. Para cualquier uso regular, se recomienda encarecidamente una GPU con al menos 12 GB de VRAM (con cuantización).
Q: ¿Cuáles son los requisitos del sistema de GLM Legal para una única RTX 3090 o 4090?
Una GPU de consumo de 24 GB es el punto óptimo. Ajusta los pesos FP16 de law-glm-10b con una longitud de contexto moderada, admite tamaños de lote de 1–4 y maneja con comodidad tareas típicas de preguntas y respuestas legales y resumen de cláusulas.
Q: ¿Cuánto espacio en disco necesito para law-glm-10b y law-glm-10b-v2?
Cada variante pesa aproximadamente 39.5 GB. Presupuesta 50 GB para una variante u 80+ GB si conservas ambas, incluyendo la sobrecarga de la caché de Hugging Face y espacio para copias cuantizadas.
Q: ¿Es seguro habilitar trust_remote_code para GLM Legal?
Es necesario para esta familia de modelos porque el código de la arquitectura GLM se carga desde el repositorio en lugar de la biblioteca principal de Transformers. Es una práctica estándar, pero revisa el código del repositorio o consulta a tu equipo de seguridad antes de habilitarlo en entornos regulados.