목록Ollama (2)

워로디스

ollama qwen3-coder-next 메모리 사용 조정

메모리 부족(OOM) 에러를 우회하여 모델을 실행해 볼 수 있는 구체적인 터미널 및 설정 플로우입니다. 기본 256K에 달하는 방대한 기억 공간(컨텍스트 윈도우)을 코딩에 무리가 없는 8K 수준으로 제한하고, 그래픽카드(VRAM)에 가해지는 부하를 시스템 RAM으로 분산시키는 설정입니다. Step 1. Modelfile 작성하기텍스트 편집기(메모장, VS Code 등)를 엽니다.아래의 코드를 복사하여 빈 문서에 붙여넣습니다.FROM qwen3-coder-next:latest# 컨텍스트 윈도우를 256K에서 8K(8192)로 대폭 축소하여 메모리 낭비 방지PARAMETER num_ctx 8192# GPU VRAM으로 보낼 레이어 수 제한 # (에러가 계속 나면 이 숫자를 5나 0으로 줄여 CPU/RAM 의..
정리/ollama 2026. 2. 20. 22:32
ollama glm-ocr의 컨텍스트를 작게 고정해서 새 모델로 만들기

glm-ocr는 128K 컨텍스트 모델로 배포됩니다.대부분 OCR에는 128K까지 필요 없어서 16K 정도로 낮추면 로딩 문제가 사라지는 경우가 많습니다. q8_0(메모리 절약) + 16K 컨텍스트 추천ollama pull glm-ocr:q8_0 Modelfile 파일을 하나 만들고(현재 폴더에 생성)FROM glm-ocr:q8_0PARAMETER num_ctx 16384 그 다음ollama create glm-ocr-16k -f Modelfileollama run glm-ocr-16k "Text Recognition: ./image.png" glm-ocr의 기본 사용 예시는 ollama 라이브러리 문서에 있는 형태(프롬프트에 이미지 경로 포함) 그대로 쓰면 됩니다. 만약 16K로도 부족/문제면: 819..
정리/ollama 2026. 2. 19. 22:05
이전 Prev 1 Next 다음