어떤 AI 가 한국 시장을 이길까?

채굴용 카드(P104-100) 3장에 Qwen 모델을 올려 사내 LAN 안에서 OpenAI 호환 API로 쓰는 서버입니다. 리그에 참가할 로컬 AI 봇의 두뇌로 쓸 예정입니다. 아래 순서대로 따라 하면 같은 서버를 만들 수 있습니다.

지금 실행 옵션(2026-10-04 확인): 문맥 49,152 토큰을 동시 요청 2칸이 나눠 써서 한 칸당 약 24,576 토큰, -sm layer -ngl 99 -fa on --cache-reuse 256 --jinja, 그림 입력용 mmproj 는 GPU 가 아니라 CPU 메모리에 둡니다(--no-mmproj-offload). GPU 메모리는 장당 7.2~7.8GB / 8GB 로 거의 꽉 찹니다. 두 칸을 쇼츠 제작·팀 회의와 데이터셋 추출이 나눠 써서, 겹칠 때는 호출 쪽에서 다시 시도합니다.

하드웨어

소프트웨어 버전

설치 순서

1. BIOS — Slot Disablement에서 GPU 슬롯 모두 Enabled, Memory Mapped I/O above 4GB를 Enabled. 외부 파워를 쓰면 외부 파워를 먼저 켜고 서버를 켭니다.
2. OS — Ubuntu 22.04.5 Server(OpenSSH 포함) 설치, 고정 IP(netplan), 방화벽은 LAN 대역에만 22·8080 개방.
3. 드라이버 — nouveau 차단 → 원본 .run 압축 해제 → 패치 파일 1개 교체 → DKMS로 설치 → persistence 모드 서비스 등록.
4. CUDA 12.8 — cuda-keyring 저장소에서 cuda-toolkit-12-8만 설치(드라이버 패키지는 설치하지 않음).
5. llama.cpp — 소스 빌드(아래 명령).
6. 모델 — Hugging Face unsloth 저장소에서 GGUF를 받고 파일 크기로 검증.
7. 서비스 — 켤 때마다 GPU 수를 세어 모델을 고르는 시작 스크립트 + systemd 유닛, API 키 파일.
8. 팬 — iDRAC IPMI로 평소 30%, 뜨거우면 자동 제어로 복귀하는 1분 타이머.

드라이버

printf "blacklist nouveau\noptions nouveau modeset=0\n" | sudo tee /etc/modprobe.d/blacklist-nouveau.conf
sudo update-initramfs -u
curl -LO https://us.download.nvidia.com/XFree86/Linux-x86_64/580.178.04/NVIDIA-Linux-x86_64-580.178.04.run
curl -LO https://github.com/dartraiden/NVIDIA-patcher/releases/download/580.178.04/NVIDIA-Linux-x86_64-580.178.04.zip
sha256sum NVIDIA-Linux-x86_64-580.178.04.zip   # f44902c5...ed4037b0e2f
sh NVIDIA-Linux-x86_64-580.178.04.run --extract-only
unzip -o NVIDIA-Linux-x86_64-580.178.04.zip -d NVIDIA-Linux-x86_64-580.178.04/
cd NVIDIA-Linux-x86_64-580.178.04 && sudo ./nvidia-installer --silent --dkms --no-x-check --disable-nouveau
sudo nvidia-smi -pm 1      # 대기 전력 장당 약 40W → 6W (부팅 때는 nvidia-persistenced 서비스로)

CUDA 12.8과 llama.cpp

curl -LO https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb && sudo apt update
sudo apt install -y --no-install-recommends cuda-toolkit-12-8 cmake git ninja-build libssl-dev libcurl4-openssl-dev
export PATH=/usr/local/cuda-12.8/bin:$PATH

git clone https://github.com/ggml-org/llama.cpp.git && cd llama.cpp
git checkout 4da6337767f973e2b4d0797e5b323d77d8565e4a
cmake -B build -G Ninja -DCMAKE_BUILD_TYPE=Release -DGGML_CUDA=ON -DGGML_NATIVE=ON -DCMAKE_CUDA_ARCHITECTURES=61
cmake --build build -j40
./build/bin/llama-cli --list-devices

시작 스크립트 (systemd가 부름)

#!/bin/sh
# 불량 카드는 UUID로 빼고, 남은 카드 수에 맞춰 모델을 고른다. (번호로 지정하면 한 장이 빠질 때 번호가 밀린다)
BAD=GPU-xxxxxxxx-불량카드-UUID
GPUS=$(nvidia-smi --query-gpu=uuid --format=csv,noheader | grep -v "$BAD" | paste -sd, -)
N=$(echo "$GPUS" | tr , "\n" | grep -c GPU)
export CUDA_VISIBLE_DEVICES="$GPUS"
if [ "$N" -ge 3 ]; then M=Qwen3.6-35B-A3B-UD-Q4_K_M; C=65536
elif [ "$N" -eq 2 ]; then M=Qwen3.8-27B-UD-IQ4_XS; C=16384
else exit 1; fi
exec llama-server -m ~/models/$M.gguf -sm layer -ngl 99 -fa on -c $C -np 2 --cache-reuse 256 \
  --jinja --host 0.0.0.0 --port 8080 --api-key-file /etc/llama/api.key
# systemd 유닛에서 ExecStartPre=+/usr/bin/nvidia-smi -pl 120 (카드 전력 180W → 120W)

팬 소음 (R720)

sudo ipmitool raw 0x30 0x30 0x01 0x00       # 수동 모드 (이게 없으면 곧 원래 속도로 돌아감)
sudo ipmitool raw 0x30 0x30 0x02 0xff 0x1e  # 전체 팬 30% (약 14,500 → 5,100RPM)
sudo ipmitool raw 0x30 0x30 0x01 0x01       # 자동 모드 복귀
# 1분 타이머가 서버 65°C 또는 GPU 80°C 이상이면 자동 모드로 돌린다

측정 성능 (초당 토큰, 클수록 빠름)

겪은 문제

• GPU가 lspci에 안 보이고, 부팅마다 빠지는 슬롯이 바뀜 — 슬롯·라이저·보조전원 접촉 문제. 드라이버와 무관(lspci는 드라이버 없이도 장치를 보여줌).
• 부하 중 Xid 79 "GPU has fallen off the bus" — 링크가 물리적으로 끊김(Surprise Down). 전력을 120W로 제한해도 재발해서 그 카드를 뺐습니다.
• API가 400 — 동시 요청 2개로 나눠 요청당 약 3만 2천 토큰이 한도. 숫자는 한 자리마다 토큰 1개라 표 데이터는 금방 찹니다.
• GGML_NATIVE=OFF 빌드 — AVX2 없는 CPU에서 Illegal instruction으로 죽을 수 있어 ON으로 빌드합니다.
• Qwen3.8-27B 긴 컨텍스트 — llama.cpp 이슈 #27623(약 8만 토큰 이후 생성 속도 급락). 65K 이하로 운영합니다.

Qwen 35B 서버와 같은 채굴용 카드 3장이지만 본체가 R730(AVX2 있음)이고, 데이터셋 추출 전용으로 동시 요청 4칸을 씁니다.

하드웨어

소프트웨어

실행 옵션

• 문맥 131,072 토큰, 동시 요청 4칸(-np 4, 한 칸당 32,768). 처음엔 2칸(한 칸당 65,536)이었고 처리량을 위해 4칸으로 올렸습니다.
• -sm layer -ngl 99 -fa on --jinja --cache-reuse 256, 그림 입력(mmproj)은 쓰지 않습니다.
• 요청에 enable_thinking=false 를 줘야 바로 답이 나옵니다(안 주면 생각만 하다 빈 답).
• 전력 제한 장당 120W. 팬은 1분마다 서버 센서·GPU 온도를 보고 10% → 15% → 30% → 자동 4단계, GPU 온도를 못 읽으면 자동으로.

측정

겪은 문제

• 빌드 마지막 단계 실패 — 드라이버 라이브러리(libcuda)가 없어서. GPU 를 꽂기 전에 드라이버를 먼저 설치해 해결(카드 없이도 설치됩니다).
• 6번 슬롯 카드 미인식 — 빈 슬롯으로 보임. 다시 꽂아 해결, 그 뒤 오류(Xid) 0.
• 팬 제어 — GPU 온도를 못 읽으면 최저 단계로 내려가는 문제를 찾아, 못 읽으면 자동 팬으로 바꾸게 고침.
• 계산 프로그램 50개 동시 실행 — 수치 라이브러리 스레드가 겹쳐 부하 700. 프로세스당 스레드 1개로 제한(8분 → 70초).
• 서버 간 복사가 느림 — 한쪽 랜이 100Mbps 로 잡혀 초당 11MB. 모델은 이 서버에서 직접 내려받음.

GPU 메모리(48GB)보다 큰 모델(약 89GB)을 GPU 와 서버 메모리에 나눠 올린 서버입니다. 그래서 생성은 느리지만 모델이 크고 그림을 읽습니다.

하드웨어

소프트웨어

실행 옵션

• 문맥 65,536 토큰, 동시 요청 2칸(-np 2, 한 칸당 32,768).
• -fa on -b 4096 -ub 2048 --jinja --mmproj. GPU·메모리 배분은 --fit 자동(-ngl 을 직접 주면 메모리 부족으로 죽습니다).
• 생각 끄기: 요청에 chat_template_kwargs {"enable_thinking": false} — 분류·읽기 작업이 약 12배 빨라집니다.
• 전력 제한 카드당 150W(부팅 때 서비스로 적용). GPU 쿨러 최소 50% + 서버 팬을 GPU 온도에 따라 단계로 올리는 서비스.

측정

겪은 문제

• -ngl 을 손으로 주면 메모리 부족 — --fit 자동 배분으로 해결.
• 한 요청씩 보내면 느림 — 2칸으로 처리량 2.7배. 대신 한 칸 문맥이 32K 라, 64K 이상을 요구하는 에이전트 도구는 실행을 거부합니다.
• 빈 답 — 생각(추론)이 출력 토큰을 다 써 버림. 생각 끄기 옵션으로 해결.
• 긴 입력 읽기가 느림 — -ub 512 → 2048 로 1.7배.
• GPU 발열 — 카드당 150W 제한 + 팬 서비스로 해결.