이또한 흘러가리라

Active learning을 공부하게 되면서 현시점(23.05.03) SOTA 논문을 찾다가 발견한 논문이다. 아직 학회에서는 발표되지는 않은 것 같고 아카이브에 올라와있다. 기존의 MADA(ICCV 2021)을 쓴 저자와 같은 저자이다.

최근 읽은 논문들을 보면 Active learning과 Domain Adaptation 개념을 함께 사용하는 것이 대세인 느낌이다. Active learning의 기본적인 개념은 모델을 학습할 때 추가로 사용하는 데이터셋에서 전부를 annotation하지 않고 정보량이 많은 sample들을 선택적으로 annotation하여 효율적인 학습 dataset을 구축하는 것이다. 여기서 Domain Adaptation 개념을 사용하여 source domain 데이터셋(기존에 학습에 사용한 데이터셋)에 추가적으로 target domain 데이터셋(아직 annotation되지 않은 데이터셋)으로 학습을 가정하는 것이다. 

Multi-anchor based Active Sample Selection

Multiple Anchoring Mechanism

Active leaning에서 가장 중요한 부분이라고 할 수 있는 것은 Sample Selection이다. Active learning은 전체 데이터셋에서 추가적으로 학습을 할때 가장 효율적인 추가 데이터셋을 골라 학습을 하는 것이 목표이다. 때문에 어떤 데이터셋이 가장 효율적으로 모델을 학습시킬 수 있는 지를 확인하는 것이 중요하다. 본 논문에서는 이러한 데이터셋, 즉 Sample을 고르는 기준으로 Anchor라는 지표를 만들었다. 이 논문에서는 여러가지 카테고리의 feature들을 이미지 레벨의 연결된 vector로 연결한다. 이러한 vector들을 clustering하는데 이를 통해서 scene에 특정한 대표적인 분포들을 예측한다. 이것이 바로 Anchor다.

Active Target Sample Selection

일반적으로 한 개의 domain에서의 Active learning의 경우에는 Sample Selection을 위하여 불확실성 기반의 metric들을 사용한다고 한다. 본 논문에서는 목표로 하는 multi-domain에서의 Active learning에서는 source domain과 더 유사하지 않은 target-domain sample일 수록 segmentation network을 더 보완할 수 있다고 주장한다. 이를 위해서 기존 논문(MADA)에서는 target samples들과 source anchor과의 거리를 계산하여 unlabeled target sample들의 중요도를 평가하려고 하였다. 이에 추가적으로 본 논문에서는 source anchor과의 거리 뿐만 아니라 target anchor까지의 거리를 고려하려 한다. 이는 기존 방식의 문제점인 선택된 sample들이 target domain 위주로 분포될 수 있고 데이터가 충분하다면 semi-supervised learning을 통해서 target anchor에 근접한 분포에 대한 knowledge를 학습할 수 있다는 점에서 모델 학습의 중목을 피하기 위한 것이다. 따라서 Dual-Domain-Distance가 가장 큰 sample들을 선택함으로써 target-domain 분포에서 유니크한 특성을 학습할 수 있는 것이다.

Semi-supervised Domain Adaptation

Step-1: Injecting Target-domain Specific Knowledge : Fig (b)

선택된 target sample들(label된)과 source domain sample들을 함께 학습에 사용

Step-2: Constructing Target-domain Anchors and Psuedo Labels : Fig (c)

라벨링되지 않은 target 데이터를 최대한으로 활요하기 위해서 step-1에서 fine-tune된 모델을 라벨링되지 않은 target sample들의psuedo label과 target domain anchor를 계산하기 위해서 사용한다.

Step-3: Semi-supervised Adaptation

마지막으로 source 데이터와 라벨링된 target 데이터 그리고 라벨링되지 않은 target 데이터를 함께 semi-supervised training에 사용한다. 

References

https://github.com/munanning/MADAv2