DevWalk

https://wikidocs.net/31379 16-01 트랜스포머(Transformer) * 이번 챕터는 앞서 설명한 어텐션 메커니즘 챕터에 대한 사전 이해가 필요합니다. 트랜스포머(Transformer)는 2017년 구글이 발표한 논문인 Attention i… wikidocs.net

오늘은 EfficientDet에 대해 알아보려한다. EfficientDet은 Real World App에서 규모가 큰 모델, 높은 계산 비용의 한계를 극복하고 다양한 제약 조건의 환경에서 사용이 가능하도록 더 효율적인 모델의 필요성에 의해 만들어졌다. 연구진들은 높은 Accuracy와 더 좋은 efficiency를 동시에 달성할 수 있는 모델 설계를 위해 2가지 challenge를 설정하였다. Efficient multi-scale feature fusion: 일반적인 CNN 모델에서는 feature를 fusion할때 가로 세로 사이즈만 맞추고 합했는데 서로 다른 input feature들은 해상도가 다르기 때문에 그것들을 연산해서 outout을 만들어 낼때 단순히 합하는 것은 부족함을 채우기 위해 다음..

오늘은 U-Net에 대해 알아려보한다. 개요 U-Net은 MICCAI에서 'U-Net: Convolutional Networks for Biomedical Image Segmentation' 이라는 논문으로 처음으로 제안 구조로서 매우 적은 수의 학습 데이터로도 정확한 이미지 세그멘테이션 성능을 보여주었으며 ISBI 세포 추적 챌린지 2015에서 큰 점수 차이로 우승했다고 한다. U-Net은 오토인코더(autoencoder)와 같은 인코더-디코더(encoder-decoder) 기반 모델에 속한다. 아래의 오토 인코더 모델 구조를 보면 인코딩 단계에서는 입력 이미지의 특징을 파악하기 위해 채널의 수는 늘리면서 차원을 축소한다. 디코딩 단계에서는 저차원으로 인코딩된 정보만 이용하여 채널의 수를 줄이고 차원을..