이또한 흘러가리라

Active learning을 공부하게 되면서 현시점(23.05.03) SOTA 논문을 찾다가 발견한 논문이다. 아직 학회에서는 발표되지는 않은 것 같고 아카이브에 올라와있다. 기존의 MADA(ICCV 2021)을 쓴 저자와 같은 저자이다.

최근 읽은 논문들을 보면 Active learning과 Domain Adaptation 개념을 함께 사용하는 것이 대세인 느낌이다. Active learning의 기본적인 개념은 모델을 학습할 때 추가로 사용하는 데이터셋에서 전부를 annotation하지 않고 정보량이 많은 sample들을 선택적으로 annotation하여 효율적인 학습 dataset을 구축하는 것이다. 여기서 Domain Adaptation 개념을 사용하여 source domain 데이터셋(기존에 학습에 사용한 데이터셋)에 추가적으로 target domain 데이터셋(아직 annotation되지 않은 데이터셋)으로 학습을 가정하는 것이다. 

Multi-anchor based Active Sample Selection

Multiple Anchoring Mechanism

Active leaning에서 가장 중요한 부분이라고 할 수 있는 것은 Sample Selection이다. Active learning은 전체 데이터셋에서 추가적으로 학습을 할때 가장 효율적인 추가 데이터셋을 골라 학습을 하는 것이 목표이다. 때문에 어떤 데이터셋이 가장 효율적으로 모델을 학습시킬 수 있는 지를 확인하는 것이 중요하다. 본 논문에서는 이러한 데이터셋, 즉 Sample을 고르는 기준으로 Anchor라는 지표를 만들었다. 이 논문에서는 여러가지 카테고리의 feature들을 이미지 레벨의 연결된 vector로 연결한다. 이러한 vector들을 clustering하는데 이를 통해서 scene에 특정한 대표적인 분포들을 예측한다. 이것이 바로 Anchor다.

Active Target Sample Selection

일반적으로 한 개의 domain에서의 Active learning의 경우에는 Sample Selection을 위하여 불확실성 기반의 metric들을 사용한다고 한다. 본 논문에서는 목표로 하는 multi-domain에서의 Active learning에서는 source domain과 더 유사하지 않은 target-domain sample일 수록 segmentation network을 더 보완할 수 있다고 주장한다. 이를 위해서 기존 논문(MADA)에서는 target samples들과 source anchor과의 거리를 계산하여 unlabeled target sample들의 중요도를 평가하려고 하였다. 이에 추가적으로 본 논문에서는 source anchor과의 거리 뿐만 아니라 target anchor까지의 거리를 고려하려 한다. 이는 기존 방식의 문제점인 선택된 sample들이 target domain 위주로 분포될 수 있고 데이터가 충분하다면 semi-supervised learning을 통해서 target anchor에 근접한 분포에 대한 knowledge를 학습할 수 있다는 점에서 모델 학습의 중목을 피하기 위한 것이다. 따라서 Dual-Domain-Distance가 가장 큰 sample들을 선택함으로써 target-domain 분포에서 유니크한 특성을 학습할 수 있는 것이다.

Semi-supervised Domain Adaptation

Step-1: Injecting Target-domain Specific Knowledge : Fig (b)

선택된 target sample들(label된)과 source domain sample들을 함께 학습에 사용

Step-2: Constructing Target-domain Anchors and Psuedo Labels : Fig (c)

라벨링되지 않은 target 데이터를 최대한으로 활요하기 위해서 step-1에서 fine-tune된 모델을 라벨링되지 않은 target sample들의psuedo label과 target domain anchor를 계산하기 위해서 사용한다.

Step-3: Semi-supervised Adaptation

마지막으로 source 데이터와 라벨링된 target 데이터 그리고 라벨링되지 않은 target 데이터를 함께 semi-supervised training에 사용한다. 

References

https://github.com/munanning/MADAv2

CVPR 2021 발표

Generative model을 공부하다가 Naver AI Lab에서 발표한 StyleMapGAN을 발견하게 되었다. Local editing을 가능하게 한다고 하여 흥미를 가지고 읽어보게 되었다.

본 논문에서는 latent code를 사용하여 실시간 이미지 편집을 가능하게 했다고 한다. 즉, 일반적인 벡터 기반의 latent code가 아닌 공간 정보를 가지고 있는 tensor 기반의 latent code를 사용하였다. 이렇게 latent code에 공간적인 정보를 추가함으로써 이미지 편집에 용이함을 주었다.

먼저 Inference 과정을 보면 소스 이미지와 타겟 이미지를 encoder를 통해서 w라는 latent code로 변환 시킨다. 이러한 latent code에는 공간적인 차원을 포함하고 있기 때문에 편집하기를 원하는 부분에 mask를 씌워서 편집된 latent code를 생성할 수 있는 것이다. 이렇게 편집된 latent code를 Generator model에 넣어 원하는 부분만 편집된 새로운 이미지를 생성할 수 있는 것이다. 

위 그림에서 볼 수 있는 것 처럼, 본 논문에서 제안하는 시스템에서는 총 4개의 모델을 사용한다. F는 Mapping network, G는 Synthesis network, E는 encoder, D는 discriminator이다. F와 G를 합쳐서 generator라고도 할 수 있다. 

References

https://github.com/naver-ai/StyleMapGAN

새로운 분야에 대해서 공부하기 시작할 때 접근하기 위해서 필요한 키워드를 정리하는 것을 목적으로 한다. 그 분야에 대해서 공부를 할 때 발견한 키워드들을 기록할 예정이다. 

• Model Compression
  • Pruning
  • Knowledge Distillation (KD) - Knowledge transfer
    • Response-based Knowledge
• Segmentation
  • Image Segmentation, Semantic Segmentation
• Object Detection
• Classification
• XAI
• Learning
  • Active Learning
    • warm-up
    • sample selection
  • Multitask Learning
• Loss Function
  • Segmentation Loss
    • Distribution-based Loss
      • Cross-Entropy Loss
    • Region-based Loss
      • Dice Loss
    • Boundary-based Loss
      • Hausdorff Distance Loss
    • Compounded Loss
• Learning Rate - Super Convergence
  • Cyclical Learning Rate (CLR)
• Backbone Network
  • MobileNet

Reference

• Knowledge Distillation: A Survey