(Paper Reading) 近期关于领域泛化文章的归纳整理

Introduction

领域泛化（Domain Generalization, DG），不同于领域自适应（Domain Adaptation, DA），在训练过程中无法接触到目标域的数据，因此比DA更加困难，是一个新坑。

Test-Time Classifier Adjustment Module for Model-Agnostic Domain Generalization (T3A)

Highlights:

• Source-free, 不存储训练数据
• Back-propagation-free, 在测试阶段不训练
• Can be applied to online inference

Method

$$\mathbb{S}_{t}^{k}= \begin{cases}\mathbb{S}_{t-1}^{k} \cup\left\{\frac{f_{\boldsymbol{\theta}}(\boldsymbol{x})}{\left\|f_{\boldsymbol{\theta}}(\boldsymbol{x})\right\|}\right\} & \text { if } \hat{y}=y^{k} \\ \mathbb{S}_{t-1}^{k} & \text { else }\end{cases}$$ $$\underset{y_{k}}{\arg \max } \gamma_{c}\left(Y=y_{k} \mid f_{\boldsymbol{\theta}}(\boldsymbol{x})\right)=\frac{\exp \left(\boldsymbol{z} \cdot \boldsymbol{c}^{k}\right)}{\sum_{j} \exp \left(\boldsymbol{z} \cdot \boldsymbol{c}^{j}\right)},$$ $$\boldsymbol{c}^{k}=\frac{1}{\left|\mathbb{S}^{k}\right|} \sum_{\boldsymbol{z} \in \mathbb{S}_{t}^{k}} \boldsymbol{z}$$

简单来说，就是把在不同域上训练好的模型当作一个特征提取器，然后在测试数据上采用一个最近邻分类，需要注意，因为采用了最近邻，所以需要给每个类维持一个类别原型，这个类别原型会随着测试数据的变化而动态变化。

Learn from this paper

• Try to create a new reasonable setting, and prototype is a breakthrough point.

Generalization on Unseen Domains via Inference-time Label-Preserving Target

Highlights

• Use test data to implement complex operations

Method

简单来说，在源域上利用对比学习的思路训练一个类别特征耦合的神经网络，关注不同域中相同类别数据的特征一致性，然后在特征空间中训练一个生成模型拟合类别特征的分布。对于测试图片，神经网络提取特征后，利用生成模型找到生成一个和测试图片特征最近的特征，该生成特征类别即为真实类别。

Learn from this paper

• 对生成模型的这种用法我是第一次见（上图D），再次验证了数据生成真的是刷点利器！但是我对这篇文章是否能完整复现存疑。

Tent: Fully Test-time Adaptation by Entropy Minimization

Highlights

• “Entropy is related to shifts due to corruption, as more corruption results in more entropy, with a strong rank correlation to the loss for image classification as the level of corruption increases.”
• Source free, just use test data to optimize the whole model.

Method

简单来说，在测试阶段，目标函数从CE变为Entropy，并且更新参数时，只更新BN层中的$\gamma$和$\beta$。

Learn from this paper

• 让我理清楚了DG中各个领域的关系，setting说的好啊！