| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 | 31 |
- 시작하기
- cli
- FileChannel
- io
- Java
- .dockerignore
- podman
- podman compose
- Ollama
- Webpack
- dockerfile
- PowerShell
- Rust
- Format
- RandomAccessFile
- html canvas
- qwen3-coder-next
- Docker Compose
- curl
- vim
- React
- getting started
- 7z
- vscode
- Vite
- tauri
- glm-ocr
- docker
- 절대경로
- Typescript
- Today
- Total
목록정리/Ollama (2)
워로디스
메모리 부족(OOM) 에러를 우회하여 모델을 실행해 볼 수 있는 구체적인 터미널 및 설정 플로우입니다. 기본 256K에 달하는 방대한 기억 공간(컨텍스트 윈도우)을 코딩에 무리가 없는 8K 수준으로 제한하고, 그래픽카드(VRAM)에 가해지는 부하를 시스템 RAM으로 분산시키는 설정입니다. Step 1. Modelfile 작성하기텍스트 편집기(메모장, VS Code 등)를 엽니다.아래의 코드를 복사하여 빈 문서에 붙여넣습니다.FROM qwen3-coder-next:latest# 컨텍스트 윈도우를 256K에서 8K(8192)로 대폭 축소하여 메모리 낭비 방지PARAMETER num_ctx 8192# GPU VRAM으로 보낼 레이어 수 제한 # (에러가 계속 나면 이 숫자를 5나 0으로 줄여 CPU/RAM 의..
glm-ocr는 128K 컨텍스트 모델로 배포됩니다.대부분 OCR에는 128K까지 필요 없어서 16K 정도로 낮추면 로딩 문제가 사라지는 경우가 많습니다. q8_0(메모리 절약) + 16K 컨텍스트 추천ollama pull glm-ocr:q8_0 Modelfile 파일을 하나 만들고(현재 폴더에 생성)FROM glm-ocr:q8_0PARAMETER num_ctx 16384 그 다음ollama create glm-ocr-16k -f Modelfileollama run glm-ocr-16k "Text Recognition: ./image.png" glm-ocr의 기본 사용 예시는 ollama 라이브러리 문서에 있는 형태(프롬프트에 이미지 경로 포함) 그대로 쓰면 됩니다. 만약 16K로도 부족/문제면: 819..