목록2026/02/20 (1)

워로디스

ollama qwen3-coder-next 메모리 사용 조정

메모리 부족(OOM) 에러를 우회하여 모델을 실행해 볼 수 있는 구체적인 터미널 및 설정 플로우입니다. 기본 256K에 달하는 방대한 기억 공간(컨텍스트 윈도우)을 코딩에 무리가 없는 8K 수준으로 제한하고, 그래픽카드(VRAM)에 가해지는 부하를 시스템 RAM으로 분산시키는 설정입니다. Step 1. Modelfile 작성하기텍스트 편집기(메모장, VS Code 등)를 엽니다.아래의 코드를 복사하여 빈 문서에 붙여넣습니다.FROM qwen3-coder-next:latest# 컨텍스트 윈도우를 256K에서 8K(8192)로 대폭 축소하여 메모리 낭비 방지PARAMETER num_ctx 8192# GPU VRAM으로 보낼 레이어 수 제한 # (에러가 계속 나면 이 숫자를 5나 0으로 줄여 CPU/RAM 의..
정리/ollama 2026. 2. 20. 22:32
이전 Prev 1 Next 다음