혁펜하임님 : “Feature map간의 Weighted Sum 이다!”
어떤 feature map이 더 중요하고 어떤 feature map이 덜 중요한가를 가지고 feature map을 만드는 것이다!
그리고 좀 더 깊게 들어가면, 위 블로그 내용과 같이 3가지 장점이 있다.
1. Channel 수 조절 가능!
이 그림과 같이 channel 수를 손쉽게 줄일 수 있음
2. 계산량을 줄일 수 있음!
위에 그림을 계속 보자면, 1x1 Conv의 Bottleneck 구조를 거치면서 parameter가 거의 1/4가 된 것을 확인할 수 있다. 이와 같이 parameter를 크게 줄일 수 있다.
3. Non-Linearity를 늘릴 수 있다.
위 그림안에서는 생략되었지만, CNN layer를 거칠 때는 Activation function을 거치게 되어있다. 그러므로 1x1 Conv를 하지 않는 것보다 1x1 Conv를 하는 것이 Non-Linearity를 늘릴 수 있다.
fin