[성능 테스트] 벡엔드 어플리케이션 성능 테스트 배경지식

1. 성능 테스트 목적

서버에 배포와 서비스를 했는데?! 많은 사용자가 사용할 경우는 어떻게 해야할까요?

많은 요청을 처리하기 위해 서버에 부하를 주는 성능 테스트가 필요합니다.

 

성능 테스트 결과를 반복하면서 테스트 툴로 성능 테스트를 해야합니다.

(로직 개선-GC, 데이터베이스-인덱스/데드락, 시스템 설계 개선-비동기적 구조)

 

※ 트래픽? (네트워크에 흐르는 데이터의 양)

- 성능 테스트

- 부하 테스트

- 스트레스 테스트

 

---

2. 성능 테스트 배경지식

지연시간(Latency)

-  요청 한건 당 처리시간

- 1초 내 : 불편한 없음

- 수초~수십초 : 불편할 수도 있음

 

처리량(Throuhput)

- 단위 시간동안 몇 건의 처리를 할 수있는가?

- tps 단위

(API가 1초 동안 1000개의 API 요청이 들어올 때 1000개의 요청을 문제없이 처리해낼 수 있다고 하면 이 API의 Throuhput은 1000TPS 이상이다 라고 볼 수 있음)

 

지연시간 & 처리량을 결합하여 성능 테스트의 목표를 세웁니다.

※ 99%: 여러 변수가 존재 할 수 있기 때문에 100% 는 없습니다.

- 일반적으로 처리량이 낮을 때는 지연시간이 낮고 일정하게 유지되다가 처리량이 점점 높아지면 지연시간이 함께 높아지는 경향이 있습니다.

 

---

3. 운영체제와 서버 자원

운영체제(OS; Operating System)

서버에 백엔드 애플리케이션을 배포해서 실행시키면, 운영체제는 이 애플리케이션을 프로세스로 생성해서 관리하게 됩니다.

 

즉, 수행되는 작업의 단위는 프로세스 입니다.

운영체제는 물리적인 자원을 관리하면서 필요한 곳에 자원을 할당하여 컴퓨터에서 애플리케이션을 실행하도록 도와주는 역할을 합니다.

이때 수행되는 작업의 단위를 프로세스라고 합니다.

 

서버에서 주로 사용되는 운영체제는 리눅스이고 서버는 물리적으로 CPU, 메모리, 디스크 같은 자원을 가지고 있습니다.

---

CPU, 메모리, 디스크

운영체제는 애플리케이션을 프로세스라는 존재로 생성해서 관리하게 되는데, 프로세스는 서버가 가지고 있는 CPU, 메모리, 디스크를 필요하다면 할당받아서 작업을 처리합니다.

백엔드 애플리케이션이라면 API 요청을 받아서 처리하는 과정에서 이런 자원들을 사용하게 됩니다.

 

어떤 작업은 CPU가 많이 필요할 수 있고 메모리가 많이 필요할 수도 있습니다.

자원은 유한하기 때문에 많이 사용중이라면 추가적인 요청이 왔을 때 처리가 지연 될 수 있습니다.

 

따라서 성능 테스트를 할 때 자원 사용률이 높아지는 자원이 있다면 해당 자원의 사용률을 낮추는 방법을 고민해야 합니다.

(병목이 되기 때문)

 

 

디스크에 저장되어 있는 실행될 수 있는 파일이나 소프트웨어 집합을 프로그램이라고 합니다.

프로그램을 실행시키면 메모리 위로 올라가서 실행되는데, 이때 프로세스라고 부릅니다.

 

프로세스는 메모리(Stack, Heap 등) + 코드로 이루어져 있습니다.

CPU는 프로세스가 가진 코드에 따라 실행 시킵니다.

 

백엔드 애플리케이션을 프로세스를 실행하기 위해서는 CPU와 메모리와 디스크 세가지 요소가 서로 상호작용을 하면서

애플리케이션을 실행한다는 점을 기억합시다!

 

그렇다면 어떤 동작이 자원을 많이 사용하는 것일까요?

 

 

CPU 사용량이 높아지면 RAM 사용량이 높아질 것입니다. 상호작용 하기 때문에 그 반대도 마찬가지 입니다.

 

RAM에서 인스턴스가 특히 많이 일어나는 작업이 존재한다면 이 인스턴스를 정리하는 과정에서 CPU가 개입하여 사용하는 인스턴스인지 아닌지를 구별하여 정리해야 할 것입니다.

 

여기서!!

디스크의 공간을 얼마나 차지하고 있느냐도 중요하지만 디스크로 얼마나 많은 양의 데이터가 빠르게 읽혀지고 쓰여지고 있는지가 중요합니다.

 

---

네트워크

중요한 자원으로 네트워크도 존재하는데, 다른 서버에 있는 자원을 사용하려면 네트워크 I/O가 반드시 필요합니다.

(자세한 내용은 아래에)

 

---

지연시간, 처리량과의 관계

요청 하나하나의 작업을 완료하기 위해서는 CPU, 메모리, 디스크가 모두 사용되어야 하는데

서버 자원들이 너무 바쁜 상태가 되면 한 건조차도 제대로 처리가 되지 못하고 타임아웃이 납니다.

 

이렇게 경쟁상태에 있는 경우 처리량이 오히려 평소 요청이 적게 들어올 때보다 낮아질 수도 있습니다.

---

지나치게 경쟁적인 상태를 해소하기 위해

해당 강의를 참고

---

4. 네트워크

네트워크를 이해하지 못하고 성능 테스트를 하면 완전히 잘못된 성능 측정 결과를 가져올 수 있으며,
개선 포인트도 잘못 잡을 수 있으니 네트워크는 성능테스트 부분에선 매우매우 중요하다고 할 수 있습니다 !

---

지연시간의 대부분을 차지하는 네트워크 호출

응답을 보내고 받기까지를 지연 시간이라고 했습니다.

API를 사용하면 서버 내부 자원을 사용할 것이며 API특성에 따라 CPU, 메모리, 디스크의 사용량의 차이가 날 것입니다.

서버 내부 자원을 사용하는 것 이외에도 데이터베이스를 호출하거나 다른 API를 호출해서 결과를 활용하기도 합니다.

 

이때 아래와 같이 네트워크 비용이 발생합니다.

네트워크 통신 발생  = 비용이 큰 상황!

서버 내부 자원을 사용할 때 1ms 미만이 걸린다면 네트워크는 1ms 이상 최대 수백,수천ms가 걸릴 수 있습니다.
따라서 네트워크 비용을 줄이기 위해 캐시를 사용하는 등 여러 방법을 고려해야 합니다.

---

네트워크는 마법이 아니다.

네트워크는 빛이 아니기 때문에 거리에 굉장히 영향을 많이 받습니다.

네트워크는 여러 라우터들을 거쳐야 하기 때문에 133.3ms보다 더 클 것이라는 것은 충분히 예측 가능합니다.

실무에서는 IDC라는 단위로 서버들이 모여 있는데 IDC 내에서는 서버들끼리 1ms미만의 시간만으로도 통신할 수 있습니다.

물리적인 거리가 중요합니다!

---

네트워크 대역폭과 지연시간의 관계

 

50mb/s는 보내지지 않고 버리지던가 클라이언트쪽에 쌓일 것입니다.

대역폭보다 큰 데이터를 전송하려고 하면 보내지지 못하고 지연시간이 늘어날 것이다.

---

대역폭은 가장 댁역폭이 낮은 회선에 맞춰진다.

대역폭은 가장 낮은 100에 맞춰집니다!

---

5. 데이터베이스

 

 

 

참고

백엔드 애플리케이션 성능 테스트하기 강의 | 이준형(Foo) - 인프런

 

📌 [벡엔드 애플리케이션 성능 테스트하기] 01. 성능 테스트를 시작하기 전에 알아야 할 배경지