본문 바로가기

deep learning

(4)
PaDiM: a Patch Distribution Modeling Framework for Anomaly Detection and Localization 리뷰 computer vision에서 anomaly detection은 이미지에 대한 anomaly score를 주는 것으로 구성된다. anomaly localization은 각 픽셀, 또는 각 픽셀들의 패치에 anomaly score를 할당하여 anomaly map을 출력하는 더 복잡한 태스크다. 따라서 anomaly localization은 더 정확하고 해석 가능한 결과를 생성한다. anomaly detection은 normal과 anomalous classes 사이에 binary classification이다. anomaly 예가 부족하기 때문에 이 태스크에서 full supervision으로 model을 학습하는 것은 사실상 가능하지 않다. 게다가 anomalies는 예상되지 않는 패턴을 가질 수 있다..
Deep Transfer Hashing for Image Retrieval 리뷰 실제 서비스 환경에서 모델의 거대한 연산량을 감당하기 어려울 수 있기 때문에 최적화 및 경량화의 중요성이 요구된다. knowledge distillation을 사용하면 제한된 크기와 깊이에서 준수한 성능을 얻을 수 있다. 좋은 teacher 모델은 one hot encoding 보다 세부적인 정보를 담고 있어 해당 정보를 잘 transfer 한다면 작은 모델로도 teacher 모델의 information flow를 흉내낼 수 있다. 복잡한 teacher 모델의 해시 기능은 one hot label 대신 supervised information으로 사용한다. teacher 모델에서 supervised information을 사용하여 모델을 보다 정확하게 training할 수 있다. 논문의 주요 contri..
Stacked Hourglass Networks 리뷰 What is pose estimation pose estimation은 인체 부위를 찾아 인체를 표현하는 task이며, 의료, 헬스케어, 그리고 엔터테인먼트 분야에서 폭넓게 사용된다. 과거에는 효율과 정확도의 문제로 거의 사용되지 않았지만, 현재에 이르러서는 딥러닝의 도입으로 관련 분야의 산업이 크게 발전하는 추세다. 현재 pose estimation은 높은 성능을 달성했지만, truncation, occlusion 문제나 불충분한 훈련 데이터에 대한 문제를 해결해야 한다. heatmap based 2d pose estimation 현재 주로 사용되는 pose estimation 방법은 heatmap을 기반으로 한다. heatmap을 사용하는 2d human pose estimation은 inpu im..
Skip connection 정리 Skip connection이란? deep architectures에서 short skip connections[1]은 하나의 layer의 output을 몇 개의 layer를 건너뛰고 다음 layer의 input에 추가하는 것이다. 이는 VGG[2]같은 기존의 model이 output만을 intput으로 사용되는 것과는 대비된다. problem in tranditional architecture skip connection을 이해하기 전에 왜 필요한지에 대해 알 필요가 있다. VGG와 같은 architecture를 설계할 때 깊을수록 더 나은 성능을 보인다. 하지만 깊이가 너무 정도 깊어진다면 오히려 성능이 하락하는 결과가 나타난다. 56-layer network는 전체 training 절차 동안 높은 ..