캐시를 도입했는데 오히려 느려졌다면?

캐시 전략 실험

트래픽이 늘어나기 시작하면 많은 서비스가 가장 먼저 캐시를 떠올린다. DB 부하를 줄이고 응답속도를 개선하는 대표적인 방법으로 알려져 있기 때문이다. 실제로 Redis를 붙인 뒤 평균 응답 시간이 크게 줄어드는 사례도 많다. 그런데 운영 환경에서는 예상과 다른 결과가 자주 나온다. 캐시 서버를 붙였는데 CPU 사용량이 증가하고, 응답시간이 오히려 길어지며, 특정 시간대에는 DB까지 동시에 무너지는 상황이 발생하기도 한다.

문제는 캐시 자체보다 캐시를 사용하는 방식에 있는 경우가 많다. 실제 운영에서는 캐시가 느린 구조를 해결한다기보다, 병목을 다른 위치로 이동시키는 상황이 자주 발생한다.

Redis만 붙이면 빨라질 거라는 기대가 생기는 이유

캐시는 읽기 요청이 많은 서비스에서 매우 강력한 성능 최적화 수단이다. 하지만 운영 환경에서는 단순 조회 속도만으로 전체 응답시간이 결정되지 않는다. 네트워크 비용, 데이터 직렬화 비용, 캐시 일관성 관리, TTL 전략 같은 요소가 동시에 영향을 준다.

상품 조회, 게시글 목록, 세션 관리처럼 반복 요청이 많은 기능에서는 실제 효과도 크다. 반면 데이터 크기가 작고 DB 인덱스가 이미 최적화된 상황이라면 Redis 조회 자체가 추가 비용이 될 수 있다.

특히 마이크로서비스 구조에서는 서비스 간 네트워크 홉이 늘어나기 때문에 캐시 호출이 새로운 병목으로 이어지기도 한다. 초기 트래픽 규모에서는 문제가 없던 구조가 이벤트 시간대에 갑자기 느려지는 경우도 흔하다. 조회량이 급증하면서 Redis 커넥션 수가 폭발적으로 증가하고, 네트워크 대기 시간이 누적되기 시작하는 것이다.

캐시는 느린 시스템을 감추는 마법 같은 계층이 아니다. 먼저 병목이 어디에서 발생하는지 확인하지 않으면 캐시 레이어만 하나 더 추가한 결과가 될 가능성이 높다.

캐시 히트율이 높아도 응답시간이 느려지는 경우

캐시 히트율이 높다고 해서 반드시 성능이 좋아지는 것은 아니다. 실제 운영 환경에서는 히트율이 높아도 응답속도가 느려지는 사례가 반복적으로 발생한다.

대표적인 원인은 직렬화와 역직렬화 비용이다. 애플리케이션은 객체를 Redis에 저장하기 위해 JSON이나 바이너리 형태로 변환한다. 조회 시에는 다시 객체로 복원해야 한다. 데이터 구조가 복잡하거나 객체 크기가 커질수록 CPU 사용량이 빠르게 증가한다.

여기에 네트워크 비용도 추가된다. Redis 호출은 결국 네트워크 요청이며, 트래픽이 증가하면 커넥션 관리 비용도 커진다. 특히 짧은 요청이 매우 많이 발생하는 구조에서는 Redis 호출 자체가 병목이 되기도 한다.

운영 환경에서는 Hot Key 현상도 자주 발견된다. 특정 인기 데이터 하나에 요청이 집중되면서 Redis 노드 하나의 CPU 사용량만 급격하게 상승하는 상황이다. 캐시 서버는 살아있지만 일부 요청만 비정상적으로 느려지는 현상이 여기서 발생한다.

실제로 운영 중인 서비스에서는 DB보다 Redis CPU가 먼저 한계에 도달하는 경우도 적지 않다. 캐시 서버가 단일 노드로 구성되어 있거나, 모든 읽기 요청을 중앙 캐시에 집중시키는 구조일수록 이런 현상이 빠르게 나타난다.

결국 중요한 것은 “캐시를 사용했는가”가 아니라 “캐시 호출 비용이 전체 요청 비용보다 충분히 작은가”이다.

TTL 설정이 잘못되면 트래픽이 한순간에 몰린다

캐시 전략에서 가장 자주 발생하는 장애 중 하나는 TTL 설정 문제다. 특히 여러 데이터가 동일한 시간에 만료되도록 설정된 경우 위험하다.

예를 들어 인기 상품 목록 10만 개가 모두 1시간 TTL로 저장되어 있다고 가정해보자. 만료 시점이 동시에 도달하면 대량의 요청이 한순간에 DB로 몰린다. 이 현상을 Cache Stampede 또는 Thundering Herd라고 부른다.

이 상황이 위험한 이유는 평소에는 정상적으로 보인다는 점이다. 대부분의 시간에는 캐시 히트율이 높게 유지된다. 하지만 특정 시점이 되면 캐시가 동시에 사라지고, DB 재조회 요청이 폭발적으로 증가한다.

실제로 운영 환경에서는 정각마다 DB CPU 사용량이 급등하는 사례가 반복적으로 발견된다. 원인을 추적해보면 대부분 동일 TTL 설정 문제로 연결되는 경우가 많다. 특히 이벤트 트래픽과 겹치면 순간적인 DB 과부하로 이어질 가능성이 높다.

운영 환경에서는 다음과 같은 방식으로 이를 완화한다.

• TTL에 랜덤 값을 추가해 만료 시간을 분산
• 만료 직전 데이터를 백그라운드에서 미리 갱신
• 자주 조회되는 데이터는 별도 캐시 전략 적용
• DB 재조회 요청 수 제한

캐시 장애는 평소 성능 문제가 아니라 “만료 순간의 트래픽 폭발”로 나타나는 경우가 많다. 그래서 평균 응답속도만 보고 있으면 실제 위험 신호를 놓치기 쉽다.

로컬 캐시와 분산 캐시를 구분하지 않으면 생기는 문제

모든 캐시를 Redis 하나로 해결하려는 접근도 자주 문제가 된다. 실제 운영에서는 Local Cache와 Distributed Cache의 역할이 다르다.

로컬 캐시는 애플리케이션 메모리 안에 데이터를 저장하기 때문에 매우 빠르다. 네트워크 호출이 없고 조회 비용도 작다. 대신 여러 서버 간 데이터 일관성을 유지하기 어렵다.

반면 Redis 같은 분산 캐시는 여러 인스턴스가 동일 데이터를 공유할 수 있다는 장점이 있다. 하지만 네트워크 비용과 중앙 집중형 병목 문제가 존재한다.

문제는 이 차이를 고려하지 않은 채 모든 요청을 Redis로 보내는 구조다. 조회량이 매우 높은 데이터까지 중앙 캐시에 집중되면 Redis 네트워크 비용이 빠르게 증가한다. 특히 동일 데이터를 수천 개 서버가 반복 조회하는 환경에서는 Redis 자체가 병목이 된다.

실제로 일부 서비스는 애플리케이션 내부 Local Cache를 추가한 뒤 Redis 호출량이 크게 줄어드는 경우도 있다. 자주 변하지 않는 설정값이나 공통 메타데이터를 로컬 캐시에 저장하면서 네트워크 왕복 비용 자체를 제거한 것이다.

그래서 대규모 서비스에서는 Local Cache와 Distributed Cache를 함께 사용하는 경우가 많다. 자주 바뀌지 않는 데이터는 로컬 캐시에 저장하고, 일관성이 중요한 데이터만 Redis를 거치도록 분리하는 방식이다.

실제 운영에서 캐시 전략은 저장소를 추가하는 작업보다, 어떤 비용을 어디로 분산시킬지 결정하는 과정에 가깝다.

읽기 성능보다 캐시 무효화가 더 어려운 이유

캐시를 처음 도입할 때는 대부분 조회 성능 개선에 집중한다. 하지만 운영 경험이 쌓일수록 더 어려운 문제는 무효화라는 사실을 체감하게 된다.

예를 들어 상품 가격이 변경됐는데 캐시 데이터가 갱신되지 않으면 오래된 정보가 계속 노출된다. 재고 수량처럼 실시간성이 중요한 데이터에서는 더 치명적이다.

이 문제 때문에 업데이트 빈도가 높은 데이터는 오히려 캐시와 잘 맞지 않는 경우도 있다. 조회는 빨라질 수 있지만 동기화 비용이 증가하면서 전체 구조가 복잡해진다.

실제 운영에서는 캐시 삭제 타이밍이 꼬이면서 장애로 이어지는 경우도 많다. 특정 서버만 이전 데이터를 유지하거나, 비동기 이벤트 처리 지연 때문에 일부 요청에 오래된 데이터가 반환되기도 한다.

특히 Cache Aside 패턴을 사용하는 환경에서는 DB 업데이트 이후 캐시 삭제 시점이 매우 중요하다. 삭제 순서가 어긋나면 오래된 데이터가 다시 캐시에 저장되는 상황도 발생한다.

그래서 “캐시는 넣는 것보다 지우는 게 어렵다”는 말이 나온다. 읽기 최적화 자체보다 데이터 정합성을 유지하는 비용이 훨씬 크기 때문이다.

결국 중요한 건 캐시 자체보다 병목 위치다

많은 서비스가 성능 문제가 발생하면 먼저 캐시를 추가한다. 하지만 실제로 중요한 것은 캐시 도입 여부가 아니라 현재 병목이 어디에 존재하는지 파악하는 과정이다.

DB 쿼리가 느린 이유가 인덱스 문제라면 캐시보다 쿼리 튜닝이 먼저다. 애플리케이션 CPU 사용량이 높은 이유가 직렬화 비용 때문이라면 캐시 레이어를 추가해도 상황은 나아지지 않는다. 네트워크 홉이 이미 많은 구조라면 Redis 호출 자체가 새로운 지연 요소가 될 수 있다.

반대로 캐시가 매우 효과적인 상황도 존재한다.

• 읽기 요청 비율이 높은 경우
• 데이터 변경 주기가 긴 경우
• 동일 요청이 반복적으로 발생하는 경우
• DB 조회 비용이 네트워크 비용보다 큰 경우

운영 환경에서는 “캐시를 넣으면 빨라진다”보다 “어떤 비용을 다른 위치로 이동시키는가”를 먼저 본다. DB 부하를 줄이는 대신 네트워크 비용이 증가할 수도 있고, 조회 속도를 얻는 대신 일관성 관리 비용이 커질 수도 있다.

결국 캐시는 성능 최적화의 정답이 아니다. 병목 위치를 정확히 파악한 뒤 필요한 구간에 제한적으로 적용할 때 가장 큰 효과를 만든다. 그래서 대규모 서비스일수록 캐시 전략 자체보다 관측과 분석 체계를 먼저 정비하는 경우가 많다.