[DL] EfficientDet

오늘은 EfficientDet에 대해 알아보려한다.

EfficientDet

 EfficientDet은 Real World App에서 규모가 큰 모델, 높은 계산 비용의 한계를 극복하고 다양한 제약 조건의 환경에서 사용이 가능하도록 더 효율적인 모델의 필요성에 의해 만들어졌다. 연구진들은 높은 Accuracy와 더 좋은 efficiency를 동시에 달성할 수 있는 모델 설계를 위해 2가지 challenge를 설정하였다.

• Efficient multi-scale feature fusion: 일반적인 CNN 모델에서는 feature를 fusion할때 가로 세로 사이즈만 맞추고 합했는데 서로 다른 input feature들은 해상도가 다르기 때문에 그것들을 연산해서 outout을 만들어 낼때 단순히 합하는 것은 부족함을 채우기 위해 다음과 같은 방법을 사용하였다. FPN, PANet 및 NAS-FPN의 아이디어를 통합하여 정보가 규칙적이고 효율적인 연결을 사용하며 하향식 및 상향식 방향으로 모두 흐르도록 하는 BiFPN(Weighted Bi-directional Feature Pyramid Network)을 제안하였다.
• model scaling: 모델 스케일링에 관련해서도 efficientnet에서 했던 것 처럼 모든 백본, 특징 네트워크, 상자/클래스 네트워크에 대한 해상도/깊이/ 너비 중 하나만 키우는게 아니라 동시에 compound scaling을 진행해야 좋은 성능을 나타낼 수 있다고 말한다.

 

왼) BiFPN 오) model scaling

 

 

Efficient multi-scale feature fusion

Efficient multi-scale feature fustion에서는 아래와 같은 4가지 접근법을 제안한다.

 

model scaling

 EfficientDet는 객체 탐지 모델으로 여러 가지 네트워크가 있으니까 다양한 네트워크를 어떤 차원으로 스케일링해야 하는지 정확하게 알기가 힘들어서 어쩔 수 없이 휴리스틱한 방법으로 스케일링했다고 이야기 하고있다. 스케일링은 백본 네트워크는 EfficientNet에서 했던것 처럼 키우고 BiFPN, Classification이랑 bounding box regression하는 네트워크, input resolution도 동시에 스케일링 해준다.