ProteinMPNN中EncLayer类介绍

PositionWiseFeedForward 类的代码

class PositionWiseFeedForward(nn.Module):def __init__(self, num_hidden, num_ff):super(PositionWiseFeedForward, self).__init__()self.W_in = nn.Linear(num_hidden, num_ff, bias=True)self.W_out = nn.Linear(num_ff, num_hidden, bias=True)self.act = torch.nn.GELU()def forward(self, h_V):h = self.act(self.W_in(h_V))h = self.W_out(h)return h

• 功能: PositionWiseFeedForward 是一个典型的前馈网络，通常用于 Transformer 编码器或解码器中的每个层。它独立地对每个位置的特征进行线性变换和非线性激活。
• 参数说明:
  • num_hidden: 输入和输出的隐藏层维度。
  • num_ff: 前馈网络的中间层的维度，一般会比 num_hidden 大，类似于提升网络的表达能力。
• 主要步骤:
  1. 使用 W_in 线性变换将 h_V 维度从 num_hidden 转换为 num_ff。