MOE论文汇总2

TASK-CUSTOMIZED MASKED AUTOENCODER VIA MIXTURE OF CLUSTER-CONDITIONAL Experts

这篇论文提出了一种新颖的自监督学习方法，名为“Mixture of Cluster-conditional Experts (MoCE)”，旨在解决传统Masked Autoencoder (MAE)在不同下游任务中可能遇到的负迁移问题。MAE是一种流行的自监督学习模型预训练方法，但当预训练数据与下游任务的数据分布不一致时，可能会产生负迁移，影响模型的泛化能力。

MICE: MIXTURE OF CONTRASTIVE EXPERTS FOR UNSUPERVISED IMAGE clustering

也是聚类

Re-IQA: Unsupervised Learning for Image Quality Assessment in the Wild

这篇文章引入了低通和高通两个专家，来进行无监督对比学习