클라우드에서 온프레미스로 돌아간 기업들 – 비용 절감 성공? 실패? 실제 데이터로 보는 진실

⚡Basecamp의 선언, 그리고 국내 IT 업계의 반응

2022년 10월, Basecamp의 CTO인 DHH(David Heinemeier Hansson)가 자신의 블로그에 올린 글 하나가 전 세계 개발자 커뮤니티를 뜨겁게 달궜습니다.

그는 클라우드에서 벗어나 자체 서버로 돌아가면서 향후 5년간 700만 달러(약 92억 원)를 절감할 수 있다고 발표했습니다.
이 소식은 국내 개발자 커뮤니티에서도 큰 화제가 됐고, 클라우드는 결국 비싼 것 아니냐는 의문이 확산됐습니다.

하지만 정말 온프레미스로 돌아가는 것이 모든 기업에 답일까요? Basecamp의 사례를 그대로 따라해도 될까요?

오늘은 온프레미스 회귀 현상을 공개된 데이터와 검증 가능한 사례를 통해 객관적으로 분석하겠습니다.

⚡온프레미스로 돌아간 대표 기업들의 실제 데이터

⚡왜 클라우드 비용이 예상보다 비싸게 느껴지는가?

클라우드 비용 문제는 대부분 잘못된 사용 방식에서 발생합니다.

1) 온프레미스 사고방식의 함정

클라우드 비용이 예상보다 높게 나오는 가장 큰 원인은 온프레미스 사고방식으로 클라우드를 사용하기 때문입니다.
이게 무슨 의미일까요?

온프레미스에서는 한 번 서버를 구매하면 24시간 내내 돌려야 본전을 뽑습니다.
전기세는 들지만, 서버를 껐다 켰다 할 수 없으니까요.

하지만 클라우드는 다릅니다. 사용한 만큼만 비용이 나가기 때문에, 필요 없을 때는 꺼놔야 합니다.

Flexera의 2024 State of the Cloud Report에 따르면, 클라우드를 사용하는 기업의 평균 32%가 낭비되고 있습니다.
가장 큰 원인은 바로 오버프로비저닝, 즉 과도한 리소스를 확보해두는 것입니다. 왜 이런 일이 발생할까요?

실제로 많은 기업이 다음과 같은 실수를 합니다.
대부분의 B2B 서비스는 업무 시간(오전 9시~오후 6시)에만 트래픽이 집중됩니다. 하지만 야간과 주말에도 동일한 수의 서버를 운영하면 16시간 x 30일 = 480시간을 낭비하는 셈입니다. 만약 월 500만 원의 클라우드 비용 중 200만 원이 야간/주말 유휴 서버라면, 오토스케일링만 적용해도 연간 2,400만 원을 절감할 수 있습니다.

또 다른 문제는 오토스케일링을 제대로 설정하지 않는다는 것입니다.
많은 기업이 최대 트래픽에 맞춰 서버를 구성해두고, 트래픽이 줄어들어도 서버를 줄이지 않습니다. 이건 마치 10명이 탈 수 있는 버스를 하루 종일 운행하면서, 아침 출근 시간에만 10명이 타고 나머지 시간엔 2명만 타는 것과 같습니다.

👉클라우드 오토스케일링에 대한 자세한 내용은 이전 포스팅에서 확인해주세요

2) 미사용 리소스라는 보이지 않는 출혈

두 번째 큰 문제는 미사용 리소스의 방치입니다.
AWS의 공식 블로그 데이터에 따르면, 평균적으로 총 클라우드 지출의 30%가 미사용 또는 유휴 리소스에서 발생합니다. 이게 어떻게 생기는 걸까요?

가장 흔한 사례를 하나 들어보겠습니다.
개발자가 새로운 기능을 테스트하기 위해 EC2 인스턴스를 띄웁니다. 테스트가 끝나고 나면? 대부분 그냥 둡니다. 나중에 또 쓸 수도 있으니까라는 생각으로요. 문제는 이 나중에가 절대 오지 않는다는 겁니다. 3개월, 6개월이 지나도 그 인스턴스는 계속 돌아가며 비용을 발생시킵니다.

스냅샷도 마찬가지입니다. 혹시 몰라서 만들어둔 백업 스냅샷이 수십 개 쌓여있는 경우가 많습니다. 각각은 작은 비용이지만, 쌓이면 상당한 금액이 됩니다. 분리된 EBS 볼륨도 같은 문제입니다. 인스턴스는 삭제했는데 볼륨은 그대로 남아있어 계속 과금되는 거죠.

실제 사례를 하나 들어보겠습니다. 한 스타트업이 스피디에 클라우드 비용 컨설팅을 요청했습니다. 월 800만 원의 AWS 비용이 나가고 있었는데, 분석 결과 그 중 250만 원이 미사용 리소스였습니다. 1년 전 이벤트용으로 띄워둔 서버 20대, 6개월 전 테스트용 데이터베이스 5개, 수백 개의 오래된 스냅샷... 정리만 했는데 연간 3,000만 원을 절감할 수 있었습니다.

3) 데이터 전송 비용이라는 숨은 복병

세 번째 문제는 데이터 전송 비용입니다. 많은 기업이 이 비용을 간과하는데, 실제로는 상당한 금액이 될 수 있습니다.

AWS 가격 정책(공식 문서 기준)을 보면 이렇습니다. 같은 리전 내 전송은 무료입니다. 하지만 리전 간 전송은 GB당 $0.02가 부과되고, 인터넷으로 나가는 데이터는 GB당 최대 $0.09가 부과됩니다. 언뜻 보면 작아 보이지만, 실제로 계산해보면 어떨까요?

월 10TB를 외부로 전송한다고 가정해봅시다. 10,000GB x $0.09 = $900, 즉 약 120만 원이 추가로 나갑니다. 만약 여러분의 서비스가 이미지나 영상을 많이 서빙한다면? 월 50TB, 100TB도 충분히 가능하고, 그럼 데이터 전송 비용만 수백만 원이 될 수 있습니다.

더 큰 문제는 많은 기업이 이 비용을 모니터링하지 않는다는 겁니다. 컴퓨팅 비용은 명확히 보이지만, 데이터 전송 비용은 청구서를 자세히 봐야 발견할 수 있습니다. 그러다 보니 왜 클라우드 비용이 이렇게 나왔지?라는 의문만 남게 되는 거죠.

해결 방법은 의외로 간단합니다.
같은 리전 내에 리소스를 배치하고, CDN을 활용하면 데이터 전송 비용을 크게 줄일 수 있습니다. 또한 압축을 적극 활용하고, 불필요한 데이터 전송을 최소화하는 것만으로도 30~50% 절감이 가능합니다.

4) Reserved Instance를 모르고 On-Demand만 쓰는 기업들

네 번째 문제는 할인 옵션의 미활용입니다.
AWS는 Reserved Instance(RI)와 Savings Plans라는 강력한 할인 프로그램을 제공합니다. AWS 공식 가격 정책에 따르면 1년 약정 시 최대 40%, 3년 약정 시 최대 72% 할인을 받을 수 있습니다.

그런데 왜 많은 기업이 이걸 활용하지 않을까요? 몇 가지 이유가 있습니다.
첫째, 나중에 서버를 줄일 수도 있는데 약정하면 손해 아니냐는 생각.
둘째, 어떤 인스턴스 타입을 약정해야 할지 모르겠다는 혼란.
셋째, 단순히 이런 옵션이 있는지 몰랐던 경우.

실제 사례를 들어보겠습니다.
한 스타트업은 3년간 안정적으로 서버 10대를 운영했습니다. 월 On-Demand 비용은 500만 원이었죠. 만약 이들이 3년 RI를 구매했다면 어땠을까요? 72% 할인을 받으면 월 140만 원, 3년간 총 1억 2,960만 원을 절감할 수 있었습니다.

하지만 정말 3년을 쓸지 확신이 없는데요? 이런 우려가 있다면 Savings Plans를 추천합니다. 특정 인스턴스 타입에 묶이지 않고, 시간당 사용량만 약정하면 됩니다. 훨씬 유연하면서도 최대 66% 할인을 받을 수 있죠.

⚡온프레미스, 정말 비용 절감될까? – TCO 분석

온프레미스 전환 시 고려해야 할 실제 비용 항목을 살펴보겠습니다.

TCO(Total Cost of Ownership) 구성 요소 Gartner의 TCO 분석 프레임워크에 따르면

1. 초기 투자 비용 (CAPEX)

• 서버 하드웨어

• 네트워크 장비

• 스토리지

• 랙/전원 설비

• 보안 장비

2. 운영 비용 (OPEX)

• IDC 공간 임대료

• 전기 및 냉방 비용

• 인터넷 회선

• 인건비 (가장 큰 비중)

• 유지보수 및 부품 교체

• 소프트웨어 라이선스

3. 숨겨진 비용

• 감가상각 (3~5년 후 하드웨어 교체)

• 확장 시 선투자 필요

• 재해복구(DR) 인프라 별도 구축

• 보안 업데이트 및 패치 관리

일반적인 비용 예시 (추정치)
주의: 아래는 업계 평균을 기반으로 한 추정치이며 실제는 기업마다 다를 수 있습니다.

[클라우드 월 500만 원 사용 기업의 온프레미스 전환 시]

일반적으로 월 클라우드 비용이 2,000만 원 이상일 때 온프레미스 전환이 경제적으로 고려 가능하다는 것이 업계 통념입니다.

⚡온프레미스 회귀가 적합한 기업 vs 그렇지 않은 기업

온프레미스 회귀가 적합한 조건

✅ 다음 조건을 모두 충족하는 경우

• 월 클라우드 비용이 최소 2,000만 원 이상

• 트래픽이 안정적이고 예측 가능 (변동폭 2배 이내)

• 향후 3년간 급성장 계획 없음

• 숙련된 인프라 전문가 3명 이상 보유

• 초기 투자금 확보 가능

• 24시간 장애 대응 체계 구축 가능

Basecamp가 성공한 이유

• 위 조건을 모두 충족

• DHH 본인이 인프라 전문가

• 안정적인 비즈니스 모델

• 글로벌 확장 계획 없음

• 온프레미스 회귀가 적합하지 않은 경우

❌ 다음 중 하나라도 해당하면 위험

• 스타트업 또는 빠른 성장 단계

• 트래픽 예측 불가능 (이벤트, 시즌성)

• 인프라 전문 인력 부족

• 글로벌 서비스 (여러 리전 필요)

• 급격한 확장/축소 필요

⚡제3의 선택지: 하이브리드 클라우드

1) 모든 것을 선택할 필요는 없다

많은 기업이 온프레미스 vs 클라우드를 이분법적으로 생각합니다. 하지만 실제로는 제3의 선택지가 있습니다. 바로 하이브리드 클라우드입니다.

핵심 원칙은 간단합니다.
안정적이고 예측 가능한 워크로드는 온프레미스로, 변동성이 크고 확장이 필요한 워크로드는 클라우드로 배치하는 것입니다. 이렇게 하면 양쪽의 장점을 모두 누릴 수 있습니다.

Netflix의 사례(공개 정보)를 보면, 콘텐츠 스트리밍은 AWS 클라우드를 사용하고 사내 시스템 일부는 온프레미스로 운영합니다. 왜 그럴까요? 스트리밍 트래픽은 시간대별, 지역별로 변동이 크고, 전 세계 여러 리전에 분산되어야 하기 때문에 클라우드가 적합합니다. 반면 사내 시스템은 트래픽이 안정적이고 보안이 중요하기 때문에 온프레미스가 더 낫죠.

2) 워크로드별 최적 환경 선택 가이드

어떤 워크로드를 어디에 배치해야 할까요? 실전 경험을 바탕으로 가이드를 드리겠습니다.

온프레미스에 적합한 워크로드는 다음과 같습니다. 첫째, 데이터베이스입니다. 특히 트랜잭션이 많고 안정적인 부하를 가진 데이터베이스는 온프레미스가 비용 효율적입니다. 둘째, 내부 업무 시스템입니다. ERP, 인사관리, 회계 시스템 등은 사용자 수가 정해져 있고 트래픽이 예측 가능하니까요. 셋째, 규제 대상 데이터입니다. 금융권이나 의료 데이터처럼 물리적 위치가 중요한 경우, 자체 데이터센터에 두는 것이 규제 준수에 유리합니다.

반대로 클라우드에 적합한 워크로드도 있습니다.

• 웹/앱 서버입니다. 트래픽 변동이 크고, 오토스케일링이 필요한 워크로드는 클라우드가 최적입니다.

• 임시 리소스입니다. 이벤트나 프로모션 기간에만 필요한 서버, 테스트 환경 등은 클라우드로 빠르게 생성하고 삭제할 수 있습니다.

• AI/ML 학습입니다. GPU가 필요한 작업은 비용이 매우 비싼데, 학습 시에만 간헐적으로 사용하니 클라우드가 훨씬 경제적입니다.

• CDN과 글로벌 서비스입니다. 전 세계에 컨텐츠를 빠르게 전달해야 한다면, 클라우드의 글로벌 엣지 네트워크를 활용하는 것이 유일한 방법입니다.

3) 하이브리드 구성의 실전 팁

하이브리드 클라우드를 구성할 때 주의할 점이 있습니다.

첫째, 온프레미스와 클라우드 간 네트워크 연결을 안정적으로 구축해야 합니다. AWS Direct Connect나 전용선을 통해 안정적이고 빠른 연결을 확보하세요.

둘째, 데이터 동기화 전략을 명확히 해야 합니다. 온프레미스 데이터베이스와 클라우드 애플리케이션이 통신하는 경우, 레이턴시와 데이터 일관성을 어떻게 보장할 것인지 미리 설계해야 합니다.

셋째, 모니터링과 관리 도구를 통합해야 합니다. 온프레미스와 클라우드를 따로 모니터링하면 문제 파악이 어렵습니다. 통합 모니터링 솔루션을 도입하여 전체 인프라를 한눈에 볼 수 있어야 합니다.

⚡온프레미스로 가기 전에 시도할 클라우드 비용 절감 방법

AWS Well-Architected Framework 권장사항

1. RI/SP 활용

• 1년 약정: 최대 40% 할인

• 3년 약정: 최대 72% 할인

• AWS 공식 문서 기준

2. 오토스케일링

• 필요할 때만 리소스 사용

• 평균 30~50% 비용 절감 가능

3. 불필요한 리소스 정리 → Flexera 보고서: 평균 32%가 낭비

   
   

4. 스토리지 계층화

• 자주 접근: SSD

• 드물게 접근: Glacier

• AWS 가격 정책상 최대 95% 저렴

5. 리전 최적화

• 데이터 전송 비용 최소화

• 같은 리전 내 배치

⚡국내 기업이 특히 주의해야 할 점

1) 규모의 경제: 해외 사례를 그대로 적용하면 안 되는 이유

Basecamp와 국내 중소기업을 비교해봅시다. Basecamp는 월 클라우드 비용이 약 2,700만 원이었습니다. 하지만 국내 대부분 기업의 월 클라우드 비용은 100500만 원 수준입니다. 규모가 1020배 차이 나죠.

이 차이가 왜 중요할까요? 온프레미스의 고정 비용은 규모와 무관하게 비슷합니다. IDC 임대료, 인건비, 전기세 등은 서버가 10대든 50대든 크게 차이나지 않습니다. 그래서 규모가 작을수록 클라우드가 유리한 거죠.

구체적으로 계산해봅시다. 월 200만 원을 클라우드에 쓰는 기업이 온프레미스로 전환하면 어떻게 될까요? 초기 투자 5,000만 원, 월 운영비(IDC+인건비+기타) 약 1,000만 원. 오히려 5배나 비싸집니다. 규모가 작으면 온프레미스는 재앙입니다.

2) 인프라 인력: 구하기 어렵고 비용도 높다

두 번째 문제는 인프라 인력입니다. 국내에서 숙련된 시스템 엔지니어를 구하기가 매우 어렵습니다. 왜 그럴까요?

• 클라우드 시대가 오면서 온프레미스 경험이 있는 인력이 급격히 줄었습니다. 신입 개발자들은 AWS만 배우지, 물리 서버 관리는 배우지 않습니다. 경력자들도 클라우드로 전환한 지 오래라 온프레미스 감각이 무뎌졌죠.

• 둘째, 인건비가 높습니다. 물리 서버, 네트워크, 스토리지, 보안을 모두 다룰 수 있는 인력은 연봉 6,000~8,000만 원을 받습니다. 그런 사람을 3명 고용하면 연간 인건비만 2억 원입니다. 이게 온프레미스의 가장 큰 비용 요소예요.

• 셋째, 24시간 대응 체계를 구축하기 어렵습니다. 3명으로는 교대 근무가 불가능하니 최소 5~6명이 필요한데, 그럼 인건비가 3억 원을 넘어갑니다. 중소기업이 감당할 수 있는 규모가 아니죠.

3) 국내 IDC 환경: 공간 확보도 쉽지 않다

세 번째는 IDC 환경입니다. 서울 IDC는 공간 확보가 매우 어렵습니다. 수요는 많은데 공급은 제한적이라 대기 리스트가 수개월씩 밀려있습니다. 게다가 임대료도 높습니다.

서울이 아닌 지방 IDC를 쓰면 어떨까요? 비용은 저렴하지만 레이턴시가 문제입니다. 서울 사용자가 많은 서비스인데 IDC가 부산에 있으면 응답 속도가 느려집니다. 또한 장애 발생 시 물리적으로 접근하기 어렵습니다.

결국 서울 IDC를 써야 하는데, 비용이 만만치 않습니다. 1U당 월 1520만 원, 서버 10대면 월 300400만 원입니다. 지방 IDC의 2~3배 수준이죠.

4) 규제 환경: 클라우드도 인증을 갖추고 있다

개인정보보호법 때문에 온프레미스가 필요한 거 아닌가요? 이런 오해가 많은데, 사실이 아닙니다.

주요 클라우드(AWS, Azure, NHN Cloud)는 이미 ISMS-P, ISO 27001 등 국내 규제에 필요한 인증을 모두 보유하고 있습니다. 금융권에서도 클라우드를 적극 도입하고 있고, 금융클라우드 가이드라인도 마련되어 있습니다.

오히려 중소기업이 온프레미스로 직접 운영하면 규제 준수가 더 어려울 수 있습니다. 정기 보안 감사, 침입 탐지, 로그 관리 등을 모두 자체적으로 해야 하는데, 이게 쉽지 않습니다. 클라우드는 이런 걸 기본으로 제공하니까 오히려 규제 준수가 쉽습니다.

⚡결정 전 체크리스트

온프레미스 전환을 고민한다면 다음을 점검하세요

1. 비용

□ 월 클라우드 비용이 2,000만 원 이상인가?

□ 클라우드 최적화를 먼저 시도했는가?

□ 온프레미스 TCO를 정확히 계산했는가?

2. 기술

□ 24시간 대응 가능한 인프라 팀이 있는가?

□ 시스템 엔지니어 3명 이상 확보했는가?

□ 장애 복구 체계가 있는가?

3. 비즈니스

□ 향후 3년간 트래픽이 예측 가능한가?

□ 급격한 확장 계획이 없는가?

□ 글로벌 진출 계획이 없는가?

3개 이하라면 온프레미스 전환은 위험합니다.

신중한 판단이 필요합니다

온프레미스 회귀는 모든 기업의 해답이 아닙니다. Basecamp의 성공은 그들만의 특수한 상황 때문이었고, 대부분 기업은 그 조건을 충족하지 못합니다.

실제로 많은 기업이 온프레미스 최적화만으로도 목표를 달성할 수 있습니다. RI/SP 활용, 오토스케일링 적용, 불필요한 리소스 정리, 스토리지 최적화, 리전 최적화만 제대로 해도 30~50% 비용 절감이 가능합니다. 온프레미스로 가는 것보다 훨씬 쉽고 빠르며 리스크도 적습니다.

규모가 작을수록 클라우드가 유리합니다. 월 클라우드 비용이 2,000만 원 이하라면 온프레미스는 오히려 더 비쌉니다. 인프라 인력 확보도 어렵고, 국내 IDC 환경도 녹록지 않습니다.

하이브리드 전략도 좋은 선택지입니다. 안정적인 워크로드는 온프레미스로, 변동성 큰 워크로드는 클라우드로. 이렇게 하면 양쪽의 장점을 모두 누릴 수 있습니다.

결정하기 전에 반드시 해야 할 것들이 있습니다. 첫째, 클라우드 비용을 먼저 최적화하세요. 둘째, TCO를 정확히 계산하세요. 초기 투자부터 숨겨진 비용까지 모두 포함해서요. 셋째, 전문가의 조언을 구하세요.

스피디는 2006년부터 국내외 기업의 클라우드 인프라를 관리해온 MSP 전문 기업입니다. 클라우드 비용 최적화부터 하이브리드 전략 수립까지, 여러분의 상황에 맞는 최적의 솔루션을 제안해드립니다.

———

정확한 TCO 계산과 클라우드 최적화 컨설팅이 필요하신가요?
스피디의 전문가가 여러분의 인프라 환경을 무료로 진단해드립니다.

📍 출처

1. DHH Blog - "Why we're leaving the cloud" (2022.10)

2. Dropbox S-1 Filing (SEC 공시 문서)

3. Discord Engineering Blog - "How Discord Stores Trillions of Messages"

4. Flexera 2024 State of the Cloud Report

5. AWS Pricing 공식 문서

6. Gartner TCO Analysis Framework

7. AWS Well-Architected Framework