N+1 문제와 해결방법

N+1 문제와 해결방법

N+1 문제를 알아보고 이를 해결할 수 있는 방법을 알아보자.

해당 블로그 글의 영상: 유투브 영상

N+1 문제

Join이 없는 자료 리스트

{
    "isSuccess": true,
    "code": 1000,
    "message": "요청에 성공하였습니다.",
    "result": [
        {
            "restaurantId": 2,
            "thumbnail": "https://user-images.githubusercontent.com/54254402/128039334-e2f7c7be-3caf-41f4-9df0-2605e1b18761.jpg",
            "discountValue": null,
            "name": "매운국물떡볶이-관악점",
            "grade": 4.9,
            "reviewCount": 200,
            "deliveryTime": 60,
            "isExpress": false,
            "cesco": true
        },
        {
            "restaurantId": 1,
            "thumbnail": "https://user-images.githubusercontent.com/54254402/127957257-639ca25f-aad1-4697-a5e6-e969f0a8caea.jpg",
            "discountValue": null,
            "name": "메가커피-동작남성점",
            "grade": 4.8,
            "reviewCount": 236,
            "deliveryTime": 26,
            "isExpress": true,
            "cesco": false
        },
        {
            "restaurantId": 3,
            "thumbnail": "https://user-images.githubusercontent.com/54254402/128040764-069b27d0-f5b2-475b-ae3c-51ef7dbfcbad.jpg",
            "discountValue": 1000,
            "name": "덮밥어때",
            "grade": 4.9,
            "reviewCount": 150,
            "deliveryTime": 50,
            "isExpress": true,
            "cesco": false
        },
        {
            "restaurantId": 4,
            "thumbnail": "https://user-images.githubusercontent.com/54254402/128047006-d41002af-1101-40fb-80ca-899f015706da.jpg",
            "discountValue": 5000,
            "name": "멕시카나-사당점",
            "grade": 4.6,
            "reviewCount": 400,
            "deliveryTime": 80,
            "isExpress": false,
            "cesco": false
        }
    ]
}

다음과 같은 레스토랑의 리스트를 조회하는 API를 개발한다고 생각하자.

따로 다른 테이블을 Join 하지 않은 리스트이고 해당 API를 JPA로 만들어 쿼리를 확인하자.

 

다른 테이블을 조인하지 않았기 때문에 이처럼 한방 쿼리로 데이터를 불러올 수 있다.

Join이 들어간 1+N 자료 리스트

레스토랑과 다대일 관계인 레스토랑의 운영시간을 해당 리스트에서 함께 불러주도록 API를 변경해 보자.

    public LookupRestaurantRes(Restaurant restaurant) {
        this.restaurantId = restaurant.getRestaurantId();
        this.thumbnail = restaurant.getThumbnail();
        this.discountValue = restaurant.getDiscountValue();
        this.name = restaurant.getName();
        this.grade = restaurant.getGrade();
        this.reviewCount = restaurant.getReviewCount();
        this.deliveryTime = restaurant.getDeliveryTime();
        this.isExpress = restaurant.getIsExpress();
        this.cesco = restaurant.getCesco();
    }

레스토랑의 Response DTO에서 운영시간 리스트를 추가하고 다음과 같은 생성자에도 그 내용을 추가해 준다.

    List<HoursRes> hoursList = new ArrayList<>(); // 필드 추가

    public LookupRestaurantRes(Restaurant restaurant) {
        this.restaurantId = restaurant.getRestaurantId();
        this.thumbnail = restaurant.getThumbnail();
        this.discountValue = restaurant.getDiscountValue();
        this.name = restaurant.getName();
        this.grade = restaurant.getGrade();
        this.reviewCount = restaurant.getReviewCount();
        this.deliveryTime = restaurant.getDeliveryTime();
        this.isExpress = restaurant.getIsExpress();
        this.cesco = restaurant.getCesco();

        // 생성자에도 HourList 추가 (Java Stream)
        this.hoursList = restaurant.getHoursList().stream().map(HoursRes::new).collect(Collectors.toList());
    }

Java의 Stream 메소드를 사용하여 생성자에서 다음과 같이 추가해 주었다.

여기서 HoursRes는 운영시간 Entity의 Response DTO 객체이다.

{
    "isSuccess": true,
    "code": 1000,
    "message": "요청에 성공하였습니다.",
    "result": [
        {
            "restaurantId": 2,
            "thumbnail": "https://user-images.githubusercontent.com/54254402/128039334-e2f7c7be-3caf-41f4-9df0-2605e1b18761.jpg",
            "discountValue": null,
            "name": "매운국물떡볶이-관악점",
            "grade": 4.9,
            "reviewCount": 200,
            "deliveryTime": 60,
            "isExpress": false,
            "cesco": true,
            "hoursList": [
                {
                    "day": "평일",
                    "startMeridiem": "오전",
                    "startHour": 9,
                    "startMinute": 30,
                    "endMeridiem": "오후",
                    "endHour": 9,
                    "endMinute": 30,
                    "isTommorw": false,
                    "isSales": true
                }
            ]
        },
        {
            "restaurantId": 1,
            "thumbnail": "https://user-images.githubusercontent.com/54254402/127957257-639ca25f-aad1-4697-a5e6-e969f0a8caea.jpg",
            "discountValue": null,
            "name": "메가커피-동작남성점",
            "grade": 4.8,
            "reviewCount": 236,
            "deliveryTime": 26,
            "isExpress": true,
            "cesco": false,
            "hoursList": [
                {
                    "day": "매일",
                    "startMeridiem": "오전",
                    "startHour": 10,
                    "startMinute": 0,
                    "endMeridiem": "오후",
                    "endHour": 10,
                    "endMinute": 0,
                    "isTommorw": false,
                    "isSales": true
                }
            ]
        },
        {
            "restaurantId": 3,
            "thumbnail": "https://user-images.githubusercontent.com/54254402/128040764-069b27d0-f5b2-475b-ae3c-51ef7dbfcbad.jpg",
            "discountValue": 1000,
            "name": "덮밥어때",
            "grade": 4.9,
            "reviewCount": 150,
            "deliveryTime": 50,
            "isExpress": true,
            "cesco": false,
            "hoursList": [
                {
                    "day": "월",
                    "startMeridiem": "오전",
                    "startHour": 10,
                    "startMinute": 0,
                    "endMeridiem": "오후",
                    "endHour": 10,
                    "endMinute": 0,
                    "isTommorw": false,
                    "isSales": true
                },
                {
                    "day": "화",
                    "startMeridiem": "오전",
                    "startHour": 10,
                    "startMinute": 0,
                    "endMeridiem": "오후",
                    "endHour": 10,
                    "endMinute": 0,
                    "isTommorw": false,
                    "isSales": true
                },
                {
                    "day": "수",
                    "startMeridiem": "오전",
                    "startHour": 10,
                    "startMinute": 0,
                    "endMeridiem": "오후",
                    "endHour": 10,
                    "endMinute": 0,
                    "isTommorw": false,
                    "isSales": true
                }
            ]
        },
        {
            "restaurantId": 4,
            "thumbnail": "https://user-images.githubusercontent.com/54254402/128047006-d41002af-1101-40fb-80ca-899f015706da.jpg",
            "discountValue": 5000,
            "name": "멕시카나-사당점",
            "grade": 4.6,
            "reviewCount": 400,
            "deliveryTime": 80,
            "isExpress": false,
            "cesco": false,
            "hoursList": [
                {
                    "day": "주말",
                    "startMeridiem": "오전",
                    "startHour": 8,
                    "startMinute": 50,
                    "endMeridiem": "오후",
                    "endHour": 9,
                    "endMinute": 0,
                    "isTommorw": false,
                    "isSales": true
                }
            ]
        }
    ]
}

리스트에서 다대일 관계인 운영시간 역시 응답받았다. 콘솔의 쿼리를 확인해 보자.

위의 한방 쿼리와 다르게 여러 개의 쿼리문이 생겼다.

이러한 이유는 맨 윗줄에서 전체 레스토랑을 찾는 쿼리를 날린 뒤 다대일 관계인 운영시간마다 하나의 쿼리가 더 들어가기 때문이다.

이러한 문제를 N+1 문제라고 한다.

해결법

우선 이러한 문제를 해결하기 위해, 모든 칼럼의 fetch 전략은 LAZY로 설정해 주어야 한다.

~ToOne 어노테이션(ex. @ManyToOne)에선 EAGER 전략이 Default임으로 수정해 주자.

~ToMany 어노테이션에선(ex. @OneToMany)에선 LAZY 전략이 Defalult임으로 따로 수정해 줄 필요가 없다.

    @ManyToOne(fetch = LAZY)
    @JoinColumn(name = "restaurantId")
    private Restaurant restaurant;

이와 같은 방식으로 변경해 주자.

JOIN FETCH

첫 번째 방식은 FETCH JOIN을 활용한 해결 방법이다.

    List<LookupRestaurantRes> findAllByStatusAndGeneralAddressOrderByUpdatedAtDesc(Status status, String generalAddress);

다음과 같은 JPA의 쿼리 메소드에 JPQL 쿼리문을 추가하자.

    @Query(
            "SELECT r FROM Restaurant r " +
                    "JOIN FETCH r.hoursList " +
                    "WHERE (r.status = :status AND r.generalAddress = :generalAddress)"
    )
    List<LookupRestaurantRes> findAllByStatusAndGeneralAddressOrderByUpdatedAtDesc(Status status, String generalAddress);

WHERE 절은 해당 어플리케이션에 관련된 내용이고, JOIN FETCH 부분에 주목하자.

FROM 절에 선언한 레스토랑으로 hourList를 JOIN FETCH를 연결해 준다.

결과

해당 JPQL 쿼리를 선언 후 다시 API 호출을 하면 한방 쿼리로 동일한 결과가 나오는 것을 확인할 수 있다.

JOIN FETCH의 한계

JOIN FETCH은 다음과 같은 한계가 있다.

• 쿼리 메소드의 리턴 타입아 Page 일 때 일대다인 컬랙션을 JOIN FETCH 절에 선언할 수 없다.
• 위의 예시에서 레스토랑을 기준으로 다대일, 일대일의 자료형은 JOIN FETCH 절에 제한 없이 선언할 수 있지만, 일대다의 자료형은 두 개 이상 선언할 수 없다.

이를 해결하기 위해 @BatchSize를 사용한다.

Batch Size

위에서 수정했던 쿼리메소드를 다시 되돌린 뒤, 레스토랑의 Entity의 운영시간 List에 다음과 같은 어노테이션을 선언한다.

    @BatchSize(size = 100)
    @OneToMany(mappedBy = "restaurant")
    List<Hours> hoursList = new ArrayList<>();

@BatchSize 어노테이션의 사이즈를 명시하여 선언하면, 쿼리문을 실행할 때 size 크기만큼의 in 연산을 통해 처리한다.

적절한 size를 각 칼럼마다 명시할 수 있고 application.property와 같은 설정 파일에 전체적으로 BatchSize를 선언할 수 있다.

결과

해당 어노테이션으로 선언 후 다시 API 호출을 하면 한방 쿼리는 아니지만 훨씬 적어진 쿼리의 결과가 나오는 것을 확인할 수 있다.

쿼리 문의 마지막 줄을 확인하면 in이 들어간 것을 확인할 수 있을 것이다.

Batch Size는 Page 타입과 사용할 수 있는 장점과, 2개 이상의 일대다 쿼리를 만들어야 하는 문제를 주요 컬렉션은 JOIN FETCH를 사용하고 나머지 컬렉션엔 @BatchSize 어노테이션을 사용하여 해결할 수 있다.