전체 글

대용량 트래픽 처리를 위한 Redis이글은 대용량 트래픽 처리를 위해 Redis를 사용하며 겪은 경험을 공유하고자 글을 작성하였습니다 :b 0. 들어가며https://tear94fall.tistory.com/17 캐시 도입 이후에 내가 경험 한 것들캐싱 도입 이후캐싱 도입 이후에 발생한 문제들과 문제를 해결하면서서 겪은 경험을 공유하고자 글을 작성하였습니다 :b1. 캐싱 도입 이후 발생한 문제들캐싱 도입 이후에 DB로의 부하가 많이 줄tear94fall.tistory.com이 글은 약 2년전에 작성한 위의 글에 이어지는 내용입니다.이전 글에서는 다음과 같은 내용에 대해서 다루었습니다.Jitter키 샤딩PER네거티브 캐싱데이터 압축Red Lock 의 한계이전 글에서는 Redis 캐시 도입 직후 개발 및 운..

내 커리어나는 커리어 총 7년의 개발자다. 7년 동안 총 4번의 이직을 했다.그리고 조금 재미있는 것이 있다.내가 거쳐온 회사의 매출 규모가 대략 10억 → 100억 → 1000억 → 1조 → N조 단위 순으로 커졌다.어쩌다 보니 그렇게 됐다. 5개의 회사중에는 잘알려지지 않은 작은 규모의 회사도 있었고, 어느정도 이름이 알려진 안랩도 있었다.또 개발자라면 누구나 한번쯤 가고 싶어하는 토스 있었고대기업에 속하는 현재의 올리브영도 있다. 개발 경험이제 까지 나는 개발자로써 성장 할 수 있는 환경만을 바라 보았고정말 뒤도 돌아보지 않고 달려왔다. 남들 잘때도 밤새 개발했고, 남들 쉴때도 개발을 했다.남들보다 1.5배, 때로는 그 이상 시간을 쏟아부었다. 지금 생각해보면 조금 미련할 정도였다. 그렇게 시간을 ..

캐싱 도입 이후캐싱 도입 이후에 발생한 문제들과 문제를 해결하면서서 겪은 경험을 공유하고자 글을 작성하였습니다 :b1. 캐싱 도입 이후 발생한 문제들캐싱 도입 이후에 DB로의 부하가 많이 줄어들었습니다.대략적으로 발생헀던 문제들은 다음과 같습니다.캐시 만료 시점에 다량의 DB 데이터 조회가 발생데이터가 없는 경우 캐시 미스로 DB 조회가 추가적으로 발생캐시가 장애 발생한 경우에 처리량 급격히 저하핫키 만료시 다량의 DB 조회가 발생Redis 클러스터 구성에서 장애 노드 발생하여 클러스터 구성 정보 refreshDNS 구성된 노드의 변경시 장애 발생이러한 문제들을 겪으면서 했던 고민과 해결과정을 공유합니다.2. 캐시의 사용 이유캐시의 사용 이유에 앞서 백엔드 개발자의 주요 고민을 한번 볼까요?같은 리소스로..

분산 DB를 사용하면서 겪은 경험분산 DB인 Mongodb를 사용하면서 발생한 문제들과문제를 해결 하면서 겪은 경험을 공유하고자 글을 작성하였습니다 :b1. 분산 DB 사용 하면서 겪은 문제운영 환경은 AWS의 Document DB를 사용하고 있었습니다.Document DB는 MongoDB와 호환되는 NoSQL DB 이지만 차이점이 조금 있습니다.바로 샤딩은 지원하지 않습니다. 하지만 Replica Set(복제셋)은 지원합니다. Replica Set 구성에서 primary 노드의 데이터는 secondary 노드에 동기화 됩니다.따라서 primary 노드에 장애가 발생하더라도 데이터는 모든 노드에 동기화 되기 때문에secondary 노드가 primary로 승격되어 정상적으로 서비스 운영이 가능합니다.서비..

캐싱 도입 과정캐싱을 도입하면서 발생한 문제들과 문제를 해결하면서 겪은 경험을 공유하고자 글을 작성하였습니다 :b1. 캐싱 도입을 고민 하게된 이유캐싱을 도입하고자 하는 서비스는 다음과 같은 특징을 가지고 있었습니다.데이터가 insert된 이후 update가 거의 발생하지 않음CRUD중 R 연산이 압도적으로 많음짧은 시간동안 동일한 데이터의 Read가 매우 많이 발생이러한 이유로 인해 캐싱을 하게되면 DB접근 횟수를 줄이면서 응답속도를 빠르게 개선할 수 있을것으로 보였습니다.2. 초창기 캐싱 도입초기에는 In-Memory 캐시 도입을 고민하였습니다.데이터의 접근 속도가 Redis보다는 메로리에 접근하는게 더욱 빠르기 때문이었습니다.Redis에 데이터를 가져오기 위해서는 네트워크 통신을 통해야 하기 때문입..

Spring profile별 환경 분리 하기 1. 환경을 분리해야 하는 이유? 실무에서 개발할때는 운영 환경에 테스트를 할수는 없습니다. 테스트시에 혹여나 데이터를 잘못 건드리는 경우는 장애를 초래 할수 있기 때문인데요. 테스트간 별다른 큰 문제가 발생하지 않으면 좋겠지만, 그렇지 않을 확률이 높으니까요. 그래서 테스트시에는 별도로 분리된 환경에서 테스트하는것이 좋습니다. 혹여나 잘못되더라도 운영 환경에는 아무런 영향이 없기 위함입니다. 예를들면 테스트간 사용하는 DB는 개발용도로만 사용하는 DB이면 좋을것입니다. 2. 어떻게 분리된 환경을 사용할까? 스프링에서는 설정된 프로필에 따라 다른 환경에서 구동될수 있도록 하는 기능을 제공하고 있답니다. 예를 들어 개발환경에서 테스트하는 경우 로컬 DB에 접근 ..

[Spring] 의존성 주입(Dependency Injection, DI) 정리 1. 의존성 주입(DI) 이란 무엇인가? 의존성 주입 (Dependency Injection)에 대해 알아보기 전에 객체지향 프로그래밍에 대해 알아보겠습니다. 객체 지향 프로그래밍을 통해 애플리케이션을 만들때 다양한 객체를 생성하게 됩니다. 생성된 객체들은 특정 기능을 수행하기 위해 서로 다른 객체들과 상호 작용(message passing)을 하게됩니다. 좀더 쉽게 설명하기 위해 자동차, 휠, 타이어를 예로 들어보겠습니다. 1. 자동차는 4개의 바퀴를 가지고 있고, 바퀴는 휠과 타이어로 구성되어있습니다. 2. 경우에 따라 자동차의 휠과 타이어를 교체할 수 있습니다. 위의 문장에 객체를 대입해서 생각해보겠습니다. 1. 자동차..

EnableJpaAuditing 사용해보기 1. JPA Auditing 이란 무엇인가? 데이터 베이스에 존재하는 테이블들에는 공통적으로 존재하는 데이터들이 있습니다. 바로 생성 날짜, 마지막 수정 날짜와 같은 컬럼 입니다. ORM을 사용하는 경우는 이런 공통 데이터들이 엔티티 마다 중복된 코드들이 존재하게 됩니다. 만일 공통된 부분의 수정이 있는 경우 관련된 코드를 전부 변경해줘야 합니다. 그래서 보통은 이런 공통 데이터만을 갖고 있는 엔티티를 별도로 만들고, 이 클래스를 상속 받아 사용합니다. 다음과 같이 말이죠. public abstract class BaseEntity { private LocalDateTime createdAt; private LocalDateTime updatedAt; } pub..

Docker에서 명령어 실행하기 1. Docker 우선 도커가 설치되어있어야 합니다. 도커 설치는 기존 포스팅을 참고 해주시기 바랍니다! 도커 컨테이너 환경을 사용하면 때로는 명령어를 수행 하고 싶을때가 있습니다. 컨테이너 내부에 파일이 정상 존재하는지 확인 해야되는 경우도 있고, 볼륨이 제대로 마운트 되었는지 확인 해야되는지 확인이 하고 싶을때도 있고, 서버스간 정상 적으로 통신을 하는지 등을 확인이 필요한 경우도 있습니다. 이때 아래와 같이 도커 컨테이너 내부에 직접 접속해서 명령어를 확인 하는 방법도 있습니다. docker exec -it alpine-container bash 하지만 직접 접속하지 않아도 될정도로 간단한 작업인 경우도 있습니다. 또한 반복적으로 작업을 수행해야 하는 스크립트를 작성..

도커 컴포즈 사용법 (Docker Compose) 1. 도커 컴포즈란? (docker-compose) 도커 컴포즈가 무엇인지 설명하기에 앞서, 왜 도커 컴포즈를 사용하는지 알아보도록 하겠습니다. 도커 환경에서 개발을 하다보면 컨테이너를 추가하거나 삭제 또는 재시작을 자주, 많이 하게 됩니다. 한개 혹은 두개 정도의 컨테이너를 사용하는 경우 쉽게 컨테이너를 추가하거나 삭제 할 수 있습니다. 하지만 서비스의 규모가 커지고 수없이 많은 컨테이너를 사용하게 된다면 어떻게 해야될까요? 간단히 생각해보면 자동화 스크립트 등을 통해 컨테이너를 다루는 방법을 생각해볼수 있습니다. 하지만 설정이 바뀐다면 어떻게 될까요? 또 통일된 인터페이스가 아니라 혼동을 줄수있다면 어떻게 될까요? 예를 들어보겠습니다. 다음은 ngin..

Docker에서 파일 복사 기능 이용하기 1. Docker 우선 도커가 설치되어있어야 합니다. 도커 설치는 기존 포스팅을 참고 해주시기 바랍니다! $ docker -v Docker version 20.10.17, build 100c701 도커 버전을 확인합니다. 도커가 정상 설치되었으므로 본격적으로 테스트에 사용할 Alpine 리눅스를 설치해 보겠습니다. docker pull alpine 이미지 부터 다운로드 해줍니다. docker run -d -it --name alpine-container alpine:latest sh 그다음 테스트에 사용할 알파인 리눅스 컨테이너를 생성해줍니다. 2. Docker 컨테이너로 파일 복사하기 호스트에 있는 파일을 도커 컨테이너의 특정 경로로 복사하는 명령어는 다음과 같..

맥에서 도커(Docker) 볼륨 사용시 /var/lib/docker 디렉토리가 없을때 1. 도커 볼륨 1.1. 볼륨 쉽게 말해서 버츄얼 박스나 VMWare 에서 자주 사용하는 공유 폴더와 비슷한 기능이다. 다만 차이점이 조금 있는데, 바로 컨테이너의 휘발성이다. 컨테이너가 종료되면 컨테이너 내부에 저장된 데이터는 영원히 사라진다. 실제 서비스를 개발/운영 하다보면 데이터를 어딘가에 저장 해야하는 경우가 발생한다. 하지만 데이터 휘발성 때문에 컨테이너 내부에는 저장할 수 없다. 이때 도커의 볼륨 기능을 사용해 생성된 데이터를 안전하게 저장할 수 있는 것이다. 1.2. 맥에서 도커 볼륨 사용 예전에 도커를 맥에서 사용하려고 할때 겪었던 문제를 공유해보려고 한다. 도커에서 볼륨을 사용하기 위해서 볼륨 설정을 ..