맥미니의 로컬 LLM은 API로 냈다면 $331.63이었을 일을 대신했습니다.
같은 기간 API에 낸 돈의 두 배가 넘습니다.
| 7개월 (3/30~10/31) | 건수 | 비용 |
|---|---|---|
| 규칙이 끝낸 것 | 75,776 | $0 |
| 로컬 모델이 끝낸 것 | 37,529 | $0 (API였다면 $331.63) |
| 상용 API가 끝낸 것 | 19,682 | $157.31 |
다만 단서가 둘 붙습니다.
전기와 기계값은 재지 않았습니다.
그리고 로컬이 자신 없어 API로 넘긴 건을 따로 들여다보니, 그 돈의 대부분은 API도 결론을 못 낸 건에 쓰였습니다.
환경
- Mac mini, Apple M4 Pro, 통합 메모리 64GB. 이 일 때문에 산 기계가 아니고 원래 쓰던 것입니다
- 로컬 모델 EXAONE-3.5-32B 4bit를
mlx_lm.server로 상시 운영. 설정은 맥미니 로컬 LLM 상시 운영 설정에 있습니다 - 상용 API는 Claude Sonnet. 4월 26일에 신모델로 바꿨고, 아래 단가는 신모델 기준입니다
- 일감은 한국 공시와 뉴스의 분류입니다. 영향 방향, 기간, 관련 종목을 JSON으로 받습니다
- 배분은 3단입니다. 규칙이 먼저 받고, 못 받은 것을 로컬이, 로컬이 자신 없어 한 것만 API가 받습니다. 구조는 LLM API 비용 줄이기에 있습니다
로컬은 얼마를 대신했나?
로컬이 처리한 건수에 API 단가를 곱했습니다.
| 항목 | 값 |
|---|---|
| 로컬이 일한 날 | 185일 |
| 로컬 처리 건수 | 37,529건 |
| API 1건당 평균 (신모델) | $0.00884 |
| 곱한 값 | $331.63 |
| 같은 기간 API에 낸 돈 | $157.31 |
⚠️ 이 곱셈에는 가정이 하나 있습니다. 로컬로 간 건이 API로 간 건과 단가가 같다는 것입니다. 로컬이 받는 건은 확신이 서는 쉬운 쪽이라 API였어도 건당 비용이 낮았을 가능성이 큽니다.
그래서 대체 금액은 상한에 가깝게 읽어야 합니다.
로컬 출력이 형식 검증에 실패해 대체값으로 간 것은 12건이었습니다.
서버가 메모리 부족으로 죽고 11분 비었던 날은 launchctl bootstrap으로 LaunchAgent 등록하기에 따로 적었습니다.
로컬이 넘긴 건에서 API는 무엇을 더 했나?
9월 1일부터 로컬이 API로 넘긴 건에도 로컬의 답을 버리지 않고 같이 저장했습니다. 두 달 동안 3,563건입니다.
같은 공시에 대한 두 답을 나란히 놓을 수 있게 된 것입니다.
| 로컬이 넘긴 3,563건 | 건수 | API 비용 |
|---|---|---|
| 전체 | 3,563 | $33.67 |
| API도 영향 방향을 모름으로 낸 것 | 3,068 | $28.44 |
| 로컬 출력이 JSON으로 안 읽힌 것 | 272 |
넘긴 건 대부분에서 API도 결론을 못 냈습니다.
건수로 86%, 비용으로 84%입니다.
API가 오름이나 내림을 낸 것은 192건이었습니다.
그중 로컬도 같은 방향이었던 것은 2건입니다.
이 숫자는 두 가지로 읽힙니다.
- 로컬이 넘긴 판단은 대체로 맞았습니다. 자신 없다고 한 공시는 API가 봐도 방향이 안 보이는 공시였습니다
- 방향이 보이는 소수는 로컬이 못 잡았습니다. 나머지 190건에서 로컬은 모름이나 혼재라고 답했습니다. 그 소수를 잡는 것이 API에 내는 돈의 값입니다
⚠️ 이건 로컬이 넘긴 건만의 비교입니다. 로컬이 자신 있게 끝낸 37,529건에는 API의 답이 없어서, 그쪽의 품질은 이 데이터로 말할 수 없습니다.
무엇을 재지 않았나?
- 전기. 전력계를 달지 않았습니다. 모델은 메모리에 늘 올라가 있고 GPU는 추론할 때만 씁니다
- 기계값. 원래 쓰던 맥미니라 이 일에 나눠 줄 값을 정하지 않았습니다. 이 일만 하려고 기계를 산다면 위 대체 금액이 그 값을 넘는 데 몇 달이 걸리는지가 판단 기준이 됩니다
- 다른 로컬 모델과의 품질 비교. 실제로 돌아간 로컬 모델은 EXAONE 하나입니다. 3월에 Qwen2.5-72B와 견줘 속도는 두 배, 메모리는 절반, 한국어 분류 품질은 비슷하다고 적어 둔 기록이 있지만, 같은 질문 세트로 다시 잰 것은 아닙니다
- Ollama. 써 보지 않았습니다. Apple Silicon에서는 MLX가 맞다는 글을 보고 골랐습니다
그래서 싼가?
기계가 이미 있다면 쌉니다. 7개월 동안 API 비용의 두 배 넘는 일을 추가 지출 없이 했습니다.
이 일을 위해 기계를 산다면 위 숫자만으로는 답이 안 나옵니다.
대체 금액을 기계값과 전기료에 견줘 보세요. 우리 처리량에서 그 금액은 위 표의 값입니다.
로컬만 쓰는 것은 답이 못 됐습니다.
방향이 보이는 공시를 로컬은 거의 못 잡았습니다.
로컬이 대부분을 받고 넘길 줄 아는 것, 이 구성에서 돈이 되는 부분은 그것이었습니다.
남는 것
대체 금액은 상한입니다. 로컬이 받는 건은 더 쉬운 쪽이라, 같은 단가를 곱하면 부풀려집니다.
일치율은 모름끼리 맞은 것을 빼고 봅니다. 넘긴 건 전체로 세면 두 답이 대부분 같습니다. 방향이 있는 건만 세면 거의 안 맞습니다.
싸다는 판단은 기계가 이미 있느냐에서 갈립니다. 한계비용 0은 기계를 산 뒤의 이야기입니다.
이 글의 수치는 비공개 DB의 llm_run 테이블에서 센 값이라 재현되지 않습니다. 같은 비교를 하려면 API로 넘기는 시점에 로컬의 답을 버리지 말고 같은 행에 저장해 두면 됩니다.
자주 묻는 질문
Q. 로컬 LLM 토큰 비용은 어떻게 계산하나요?
토큰당 요금이 없습니다.
그래서 전기료와 기계값을 처리량으로 나눠야 합니다. 저는 둘 다 재지 않았고, 대신 같은 일을 API로 냈다면 얼마였는지를 셌습니다. 비교 기준을 하나 고르라면 이쪽이 측정이 쉽습니다.
Q. 로컬 모델 하나로 API를 완전히 대체할 수 있나요?
우리 일에서는 안 됐습니다. 방향이 보이는 공시 192건 중 로컬이 같은 결론을 낸 것은 2건이었습니다. 쉬운 대다수를 로컬이 받고 어려운 소수를 넘기는 구성이 비용과 품질을 같이 지켰습니다.
참고 자료
- LLM API 비용 줄이기 는 규칙, 로컬, API로 나누는 구조와 그 비용 실측입니다.
- 맥미니 로컬 LLM 상시 운영 설정 은 이 로컬 서버를 launchd로 상시 운영하는 설정입니다.
이 사이트의 수치는 주 1회 DB와 다시 대조하고, 판단이 바뀌면 지우지 않고 글 안에 덧붙입니다. 갱신은 RSS로 받을 수 있습니다.