- GLM Legal 시스템 요구 사항의 핵심은 law-glm-10b 모델입니다. 이는 100억(10B) 파라미터 규모의 GLM 기반 법률 AI 모델입니다.
- 모델 저장소 용량은 약 39.5 GB이므로 50GB 이상의 여유 디스크 공간을 확보하세요.
- Transformers를 사용한 로컬 추론에는 일반적으로 24GB 이상의 VRAM을 갖춘 GPU가 필요하며, 속도가 느려지더라도 CPU 전용으로 실행할 수도 있습니다.
- 소프트웨어 스택: Python, PyTorch, Hugging Face Transformers, 그리고
trust_remote_code설정. - 이 모델은 Apache-2.0 라이선스로 배포되며 Hugging Face에서 호스팅됩니다.
GLM Legal 시스템 요구 사항 이해하기
GLM Legal은 Hugging Face의 law-llm 조직에서 공개한 law-glm-10b 및 law-glm-10b-v2 모델을 지칭합니다. 이들은 중국 법률 텍스트 이해를 위해 파인튜닝된 GLM 아키텍처 언어 모델로, 시스템 요구 사항은 일반적인 100억 파라미터 오픈 웨이트 모델의 패턴을 따릅니다. 병목은 GPU 메모리이며, 그 다음이 디스크 공간과 CPU RAM입니다.
다운로드 전에 아래 기본 프로필을 확인하세요. "GLM Legal"은 law-glm-10b 모델 패밀리를 지칭하는 커뮤니티/콘텐츠 사이트 이름이므로, 별도의 설치 프로그램이나 런처를 걱정할 필요는 없습니다.
| 구성 요소 | 최소 사양 | 권장 사양 |
|---|---|---|
| 모델 파라미터 | 10B (law-glm-10b) | 10B (law-glm-10b-v2) |
| 모델 파일 크기 | 약 39.5 GB | 약 39.5 GB + 캐시 여유 공간 |
| 여유 디스크 공간 | 50 GB | 80GB 이상 (SSD) |
| GPU VRAM (FP16) | 24 GB | 32–48 GB 또는 멀티 GPU |
| GPU VRAM (양자화) | 12–14 GB (INT8/INT4) | 24 GB |
| 시스템 RAM | 32 GB | 64 GB |
| 운영체제 | Linux (Ubuntu 20.04 이상) | CUDA 11.8 이상의 Linux |
모델 저장소에서 항상 현재 파일 목록을 확인하세요. 웨이트 샤드, 토크나이저 파일, 설정은 law-glm-10b와 law-glm-10b-v2 간에 변경될 수 있습니다.
하드웨어 티어 비교
모든 머신이 10B 모델을 원활하게 실행할 수 있는 것은 아닙니다. 이 티어 분석표를 활용해 자신의 하드웨어에 맞는 현실적인 배포 방식을 선택하세요.
입문 티어 (양자화)
- 12–14 GB VRAM 또는 CPU 전용
- INT4/INT8 양자화 필수
- 추론 속도가 느리지만 테스트에는 적합
- 프롬프트 실험에 좋음
표준 티어 (단일 GPU)
- 24 GB VRAM (예: RTX 3090/4090 급)
- FP16 또는 BF16 추론
- 배치 크기 1–4에 편안하게 대응
- 대부분의 개발자에게 최적
프로 티어 (멀티 GPU)
- 48 GB 이상의 VRAM (GPU 전체 합산)
- 더 큰 배치, 더 긴 컨텍스트
- 파인튜닝도 가능
- 연구 워크로드에 적합
| 배포 방식 | 필요 VRAM | 속도 | 적합한 용도 |
|---|---|---|---|
| CPU 추론 | 0 GB (32–64 GB RAM) | 매우 느림 | 간단한 확인용 |
| INT4 양자화 GPU | 약 12–14 GB | 보통 | 노트북, 단일 GPU 테스트 |
| FP16 단일 GPU | 약 22–24 GB | 빠름 | 일상적인 법률 QA 워크플로 |
| 멀티 GPU FP16 | 48 GB 이상 | 가장 빠름 | 배치 처리, 평가 |
10B 모델을 FP16으로 로드하면 웨이트만 약 20 GB가 할당됩니다. GPU의 VRAM이 체크포인트 요구량보다 적으면 우아한 성능 저하가 아니라 메모리 부족(OOM) 오류가 발생하므로, 대신 모델을 양자화하거나 샤딩하세요.
소프트웨어 요구 사항 및 설치 단계
소프트웨어 스택은 간단합니다. Python 3.8 이상, CUDA 지원이 포함된 PyTorch, Hugging Face Transformers가 필요합니다. GLM 아키텍처는 커스텀 모델링 코드를 포함하므로, 토크나이저와 모델을 로드할 때 trust_remote_code=True가 필요합니다.
| 소프트웨어 | 버전 권장 사항 | 용도 |
|---|---|---|
| Python | 3.8–3.10 | 런타임 환경 |
| PyTorch | CUDA 11.8 이상의 2.x | GPU 텐서 연산 |
| Transformers | 최신 안정 버전 | 모델/토크나이저 로딩 |
| CUDA 드라이버 | 11.8 이상 | GPU 가속 |
| Git LFS | 최신 버전 | 대용량 웨이트 샤드 다운로드 |
환경 준비
전용 Python 가상 환경 또는 conda 환경을 만들고 CUDA 버전에 맞는 PyTorch를 설치하세요. 간단한 디바이스 확인으로 GPU 인식 여부를 검증하세요.
Transformers 설치
Hugging Face Transformers와 의존성을 설치하세요. GLM 패밀리는 원격 모델링 코드에 의존하므로 Transformers를 최신 상태로 유지하는 것이 좋습니다.
모델 다운로드
Hugging Face 모델 페이지에서 law-llm/law-glm-10b(또는 -v2)를 다운로드하세요. 약 39.5 GB의 웨이트 샤드가 완전히 다운로드되도록 Git LFS가 설치되어 있는지 확인하세요.
trust_remote_code로 로드
토크나이저와 모델 모두 trust_remote_code=True로 로드하세요. 이는 저장소의 커스텀 Python 코드를 실행하는 것입니다. 신뢰할 수 있는 소스에서만 사용하고, 엄격한 보안 정책 하에서 운영한다면 코드를 검토하세요.
첫 추론 실행
짧은 중국어 법률 질문이나 조항 추출 프롬프트를 보내 출력을 확인한 후, 더 긴 문서나 배치로 확장하세요.
trust_remote_code 파라미터는 Transformers 코어 라이브러리 외부에서 호스팅되는 GLM 패밀리 체크포인트에 필요합니다. 이 모델 패밀리에서는 표준적인 관행이지만, 기업 팀은 보안 검토 체크리스트에 포함해야 합니다.
저장소, 네트워크 및 데이터 고려 사항
순수 컴퓨팅 성능 외에도 저장 공간 증가와 대역폭을 계획해야 합니다. 각 변형은 약 39.5 GB이며, law-glm-10b와 law-glm-10b-v2를 모두 보관하면 용량이 두 배가 됩니다.
- 웨이트는 SSD에 저장하세요. 하드디스크에서 20GB 이상의 샤드를 로드하면 시작할 때마다 몇 분이 추가됩니다.
- Hugging Face 캐시 여유 공간을 확보하세요. 불완전한 다운로드는 로드 손상의 가장 흔한 원인입니다.
- 안정적인 광역대역 연결이 중요합니다. 35 GB 지점에서 다운로드가 실패하면 몇 시간이 낭비됩니다.
- 평가 과정에서 혼동을 피하려면 양자화 복사본과 FP16 원본을 분리해 보관하세요.
다운로드 전 체크리스트:
- 두 변형 모두를 위해 80GB 이상의 여유 SSD 공간 확인
- Git LFS 설치 및 Hugging Face 인증
- CUDA 드라이버 버전이 PyTorch 빌드와 일치하는지 확인
- HF_HOME 캐시를 충분한 공간이 있는 드라이브로 설정
- 전체 웨이트 다운로드 전에 config와 토크나이저 다운로드 테스트
모델 페이지에는 Apache-2.0 라이선스가 명시되어 있어 연구 및 다수의 상업적 용도로 로컬 배포가 허용됩니다. 다만 프로덕션 통합 전에 저장소의 라이선스 전문을 검토하세요.
FAQ
Q: GPU 없이 GLM Legal을 실행할 수 있나요?
가능하지만 느립니다. 10B 모델의 CPU 전용 추론은 32–64 GB의 시스템 RAM으로 짧은 프롬프트에서는 동작하지만, 생성에 몇 분이 걸릴 수 있습니다. 정기적인 사용을 위해서는 최소 12 GB VRAM(양자화 사용)의 GPU를 강력히 권장합니다.
Q: RTX 3090 또는 4090 한 장으로 GLM Legal을 실행하기 위한 시스템 요구 사항은 무엇인가요?
24 GB 소비자용 GPU가 최적입니다. 적당한 컨텍스트 길이로 law-glm-10b의 FP16 웨이트를 수용하고, 배치 크기 1–4를 지원하며, 일반적인 법률 질의응답 및 조항 요약 작업을 편안하게 처리합니다.
Q: law-glm-10b와 law-glm-10b-v2에는 디스크 공간이 얼마나 필요한가요?
각 변형은 약 39.5 GB입니다. 하나의 변형에는 50 GB, 둘 다 보관하려면 Hugging Face 캐시 오버헤드와 양자화 복사본 공간을 포함해 80GB 이상을 확보하세요.
Q: GLM Legal에 trust_remote_code를 활성화해도 안전한가요?
GLM 아키텍처 코드가 Transformers 코어 라이브러리가 아닌 저장소에서 로드되기 때문에 이 모델 패밀리에는 필수입니다. 표준적인 관행이지만, 규제 환경에서 활성화하기 전에 저장소 코드를 검토하거나 보안 팀에 문의하세요.