다중 처리 방식

기존의 per process, pre-fork, worker 다중 처리 방식

fork 방식 (per process)

• 다수의 사용자 요청이 들어왔을 때 자식 process가 사용자 요청을 처리하는 방식
• 다수의 사용자 요청(요청 1, 요청 2, 요청 3..)이 들어오면 부모 process에서 자식 process를 fork(자식 1, 자식 2, 자식 3...)해서 요청을 처리
• 스레드보다 무거운 프로세스를 복제 후 처리하기 때문에 오버헤드가 발생하거나 많은 리소스를 차지하게 될 수 있다.
  • 여기서의 리소스는 메모리

pre-fork 방식

• 사용자 요청을 처리할 자식 프로세스를 일정량 미리 fork하는 방식
• 하나의 자식 프로세스는 하나의 스레드를 가짐
  • 스레드 간 메모리 공유를 안 하므로 독립적이고 안정적
• 일반적으로 Single CPU, Dual CPU에서 성능이 좋다.
• 자식 프로세스는 최대 1024개까지 가능

worker 방식

• worker는 "일을 하는 사람", "작업자"를 의미
  • master-slave, primary-secondary(replica) 처럼 master-worker의 관계
  • 워커 스레드를 백그라운드 스레드라고도 부름
  • Worker thread를 여러 개 보유하고 있는 장소를 Thread Pool이라고 부름
• 프로세스 당 스레드 연결이 여러 개인 방식
• 스레드끼리 메모리를 공유함
  • 메모리 사용량은 효율적
  • 통신이 많은 서버에 적절
  • 리소스 오염(경합)에 주의 필요

웹 서비스 요청 처리 과정

웹 서비스 서버의 대부분의 작업은 읽기/쓰기(I/O) 및 대기

1. 클라이언트의 요청이 오면 요청으로 보낸 HTTP 메세지 등을 읽는다.
2. 클라이언트의 요청을 처리하는 작업을 수행한다.
   • 서버가 요청을 처리하기 위해 특정 작업(api를 호출, 데이터 처리 등)을 호출 후 결과를 기다린다.
   • 이때 역시 호출한 작업이 완료되면 결과를 읽어야 한다.
3. 모든 처리가 완료되면 결과를 클라이언트에게 보내기 위해서 쓰기 작업이 진행된다.

• 위 과정에서 서버가 하는 일의 대부분은 읽기 & 쓰기와 요청 후 대기이다.

I/O에 특화된 event-loop 다중처리 방식

• 대부분의 작업이 읽기/쓰기(I/O) 및 대기인 웹 서비스 서버를 I/O에 특화된 싱글 스레드로 다중처리를 하는 방식
  1. 싱글 스레드는 계속 돌아가며(event-loop) 비즈니스 로직을 수행
  2. 수행 도중 블로킹 I/O 작업을 만나면 워커 스레드풀에게 작업을 넘겨줌
  3. 작업을 넘겨준 뒤 메인스레드는 계속해서 비즈니스 로직을 수행
  4. 워커 스레드풀에게 넘겨주었던 작업이 완료되면 다시 메인스레드로 들어옴
• 워커스레드들은 전략에 따라 CPU Bound or I/O Bound 한 스레드

ajax.than({
  // 1번 : ajax 요청
  // ...(블로킹 I/O 작업이 있다고 가정) 2번 : 블로킹 I/O 작업
});

console.log("~"); //  3번

• event-loop 처리 예제
  1. event-loop 스레드에 ajax 코드인 1번이 실행된다.
  2. 2번은 블로킹 I/O 작업이 있다고 가정할 때 2번은 메인 스레드에서 수행되지 않고 워커 스레드로 작업이 넘어간다.
  3. 3번의 console.log()가 실행된다.
  4. 2번의 블로킹 I/O 작업이 끝난 후의 결과가 메인 스레드의 event-loop로 들어온다.
  5. 즉, 위 소스코드는 1 -> 3 -> 2의 순으로 실행된다.

sync/async, blocking/non-blocking

• 관점의 차이

sync/async

• sync/async는 실행 순서(시간)를 관점으로 나누어진다.
• sync
  • 실행 순서가 절차적
  • 코드의 작성 순서대로 실행되는 것을 보장 (전 명령의 작업이 끝나지 않으면 다른 작업을 할 수 없다.)
• async
  • 실행 순서가 절차적이지 않음
  • 전 명령의 작업이 끝나지 않아도 다음 명령을 실행
  • 앞서 살펴본 event-loop 기반의 싱글 스레드 역시 시간이 많이 걸리는 연산들을 워커 스레드에게 넘기고 다른 작업을 수행하므로 실행 순서가 절차적이지 않은 async다.

blocking/non-blocking

• blocking/non-blocking은 제어권의 반환을 관점으로 나누어진다.
• blocking
  • 호출된 함수가 제어권을 넘겨주지 않음
  • 호출한 함수에선 다른 작업을 수행 못하고 제어권의 반환을 기다려야 함
• non-blocking
  • 호출한 함수 측에서 제어권을 계속 가짐 (제어권이 넘겨지지 않음)
  • 호출한 함수는 제어권이 있으므로 계속해서 다른 작업을 처리할 수 있음
  • 위의 event-loop 구조는 워커 스레드에서 호출된 함수가 수행된다면 그 함수에 대한 결과값을 받을 수 있는 상황인지 체크 과정 후 결과값을 받음