한 아저씨의 술과 음악, 사진, 캠핑, 여행, 그리고 소소한 개발 이야기를 기록하는 곳
https://github.com/ggml-org/llama.cpp/discussions/15396
llama-server -hf ggml-org/gpt-oss-20b-GGUF --ctx-size 0 --jinja -ub 2048 -b 2048 --port 11434
open http://localhost:11434
아래 명령어로 로컬에 다운로드 된 모델들을 조회 가능
/Users/me/Library/Caches/llama.cpp/
허깅페이스에서 실행 명령어 복사 가능
# Load and run the model: llama-server -hf ggml-org/gemma-3-27b-it-GGUF:Q4_K_M
아래 명령어로 로컬에 다운로드 된 모델들을 조회 가능
허깅페이스에서 실행 명령어 복사 가능