llama.cpp 설치와 GGUF 모델 실행

공식 저장소는 사전 빌드 바이너리, Docker와 소스 빌드를 안내합니다. GPU 백엔드는 CUDA, Metal, Vulkan 등 장비에 맞게 선택합니다.

‘설치 경로를 고릅니다’ 단계에서 기준으로 삼을 원칙은 “공식 릴리스·Docker·소스 빌드 중 한 경로만 선택합니다.”입니다. 설치 성공 여부는 화면이 열리는지만으로 판단하지 않습니다. 버전, 실행 경로, 포트와 데이터 저장 위치까지 확인해야 다음 단계의 오류를 설치 문제와 분리할 수 있습니다.

검증할 때는 모델·런타임 버전, 입력 자료, 주요 설정과 결과를 한 묶음으로 저장합니다. 다른 조건을 그대로 둔 채 한 요소만 바꾸어 다시 실행하고, 예상과 다른 결과와 아직 확인하지 못한 한계까지 기록해야 이 설명을 자신의 환경에 안전하게 적용할 수 있습니다.

GGUF에는 텐서와 메타데이터가 담깁니다. 같은 모델에도 여러 양자화가 있으므로 Q4 정도로 시작하고 모델 카드의 채팅 템플릿과 라이선스를 확인합니다.

‘GGUF를 선택합니다’ 단계에서 기준으로 삼을 원칙은 “모델 카드와 라이선스를 확인한 GGUF를 사용합니다.”입니다. 설치 성공 여부는 화면이 열리는지만으로 판단하지 않습니다. 버전, 실행 경로, 포트와 데이터 저장 위치까지 확인해야 다음 단계의 오류를 설치 문제와 분리할 수 있습니다.

결과를 다시 재현할 수 있도록 시작 전후의 상태와 확인 시각을 함께 남깁니다. 정상 사례뿐 아니라 빈 입력, 자원 부족이나 재시작 같은 실패 조건 하나를 포함하면 이 단계가 어디까지 견디는지 더 분명해집니다.

현재 공식 Quick Start는 Hugging Face 모델을 바로 내려받아 실행하는 흐름을 제공합니다.

‘CLI로 먼저 실행합니다’ 단계에서 기준으로 삼을 원칙은 “CLI가 성공한 뒤 OpenAI 호환 로컬 서버를 띄웁니다.”입니다. 설치 성공 여부는 화면이 열리는지만으로 판단하지 않습니다. 버전, 실행 경로, 포트와 데이터 저장 위치까지 확인해야 다음 단계의 오류를 설치 문제와 분리할 수 있습니다.

코드가 한 번 성공해도 재시작 뒤 같은 결과가 나는지, 잘못된 입력에는 안전하게 실패하는지까지 확인해야 합니다. 실제 서비스에 연결하기 전에는 제한 시간과 정리 절차를 시험해 중단된 실행이 자원이나 상태를 남기지 않는지도 봅니다.

llama-cli -hf ggml-org/Qwen3.5-0.8B-GGUF

애플리케이션 연결이 필요하면 서버를 실행하고 localhost에서 먼저 호출합니다. 외부 바인딩에는 별도의 인증 계층이 필요합니다.

‘서버는 로컬에서 검증합니다’ 단계에서 기준으로 삼을 원칙은 “공식 릴리스·Docker·소스 빌드 중 한 경로만 선택합니다.”입니다. 설치 성공 여부는 화면이 열리는지만으로 판단하지 않습니다. 버전, 실행 경로, 포트와 데이터 저장 위치까지 확인해야 다음 단계의 오류를 설치 문제와 분리할 수 있습니다.

명령이나 코드는 그대로 복사해 실행한 뒤 끝내지 말고 종료 상태, 출력 로그와 생성된 파일·프로세스를 함께 확인합니다. 실패하면 여러 설정을 동시에 바꾸지 말고 입력, 버전, 권한, 자원 조건을 하나씩 되돌려 같은 절차를 다시 실행해야 원인을 남길 수 있습니다.

llama-server -hf ggml-org/Qwen3.5-0.8B-GGUF