学习C2CRS Ⅱ (Contrastive Learning Pretraining)
代码地址:https://github.com/RUCAIBox/WSDM2022-C2CRS
论文地址:https://arxiv.org/abs/2201.02732
CoarseToFinePretrainModel模型结构与功能
CoarseToFinePretrainModel
主要用于对比学习(Contrastive Learning)的预训练任务。它通过结合用户表示和实体表示,分别在“粗粒度”(Coarse)和“细粒度”(Fine)两个层次上进行对比学习,以学习更好的表示。它通过以下模块实现:
- 损失函数:使用交叉熵损失函数
CrossEntropyLoss
。 - 对比学习:在用户级别(User Level)和实体级别(Entity Level)分别进行对比学习。
- 预训练策略:支持“粗粒度”和“细粒度”对比学习的组合,以及加权组合。
主要方法与逻辑
1. 初始化方法 (__init__
和 _build_model
)
__init__
:- 接收一个配置对象
config
。 - 调用
- 接收一个配置对象