ollama glm-ocr의 컨텍스트를 작게 고정해서 새 모델로 만들기

glm-ocr는 128K 컨텍스트 모델로 배포됩니다.
대부분 OCR에는 128K까지 필요 없어서 16K 정도로 낮추면 로딩 문제가 사라지는 경우가 많습니다.

 

q8_0(메모리 절약) + 16K 컨텍스트 추천

ollama pull glm-ocr:q8_0

 

Modelfile 파일을 하나 만들고(현재 폴더에 생성)

FROM glm-ocr:q8_0
PARAMETER num_ctx 16384

 

그 다음

ollama create glm-ocr-16k -f Modelfile
ollama run glm-ocr-16k "Text Recognition: ./image.png"

 

glm-ocr의 기본 사용 예시는 ollama 라이브러리 문서에 있는 형태(프롬프트에 이미지 경로 포함) 그대로 쓰면 됩니다.

 

만약 16K로도 부족/문제면: 8192 → 16384 → 32768 순서로 올리면서(필요 최소로) 테스트하세요.