【深度学习基础模型】图神经网络(Graph Neural Networks, GNNs)详细理解并附实现代码。
【深度学习基础模型】图神经网络(Graph Neural Networks, GNNs)详细理解并附实现代码。
【深度学习基础模型】图神经网络(Graph Neural Networks, GNNs)详细理解并附实现代码。
文章目录
- 【深度学习基础模型】图神经网络(Graph Neural Networks, GNNs)详细理解并附实现代码。
- 1. 起源与提出
- 2. 发展
- 3. 优缺点
- 4. 应用场景
- 5. Python代码实现示例
参考地址:https://www.asimovinstitute.org/neural-network-zoo/
论文地址:https://arxiv.org/pdf/1412.3555v1
欢迎宝子们点赞、关注、收藏!欢迎宝子们批评指正!
1. 起源与提出
图神经网络的起源可以追溯到图数据的处理需求。传统的神经网络在处理结构化数据(如图、树等)时,常常面临着局限性。GNN的提出旨在解决这一问题,使神经网络能够有效地学习图结构数据中的信息。
- 早期研究:最早的图模型和算法如图卷积网络(GCN)和图递归神经网络(Graph RNN)在2017年左右被提出。
- GCN的提出:Thomas Kipf和Max Welling于2017年提出了图卷积网络(GCN),为GNN的发展奠定了基础。他们提出通过卷积操作在图上进行特征学习,推动了图神经网络的研究。
2. 发展
图神经网络的发展经历了以下几个阶段:
- 图卷积网络(GCN):GCN采用了谱图理论来进行图数据的学习,成为GNN领域的基石。通过图的邻接矩阵和特征矩阵来进行节点表示学习。
- 图注意力网络(GAT):2018年,Velickovic等人提出了图注意力网络(GAT),引入了自注意力机制,使得模型能够自适应地关注邻居节点的不同重要性。
- 动态图神经网络(DGN):近年来,随着动态图(Dynamic Graph)的研究兴起,动态图神经网络也逐渐受到关注,允许图结构随时间变化。
- 多层图神经网络:研究者们开始探索多层GNN的架构,解决深层图神经网络在训练时可能遇到的过平滑和信息丢失问题。
3. 优缺点
优点:
- 有效处理图结构数据:GNN能够直接在图结构上进行学习,适合社交网络、化学分子、推荐系统等领域。
- 捕捉节点间关系:通过聚合邻居节点的信息,GNN能够捕捉到节点之间的复杂关系。
- 扩展性:可以扩展到大规模图数据的处理。
缺点:
- 计算复杂度:图的结构可能导致GNN在处理大规模图时计算复杂度较高。
- 过平滑问题:在多层GNN中,信息的聚合可能导致节点表示趋同,丧失辨别能力。
- 依赖于邻接矩阵:GNN的性能往往依赖于邻接矩阵的构造和图的稀疏性。
4. 应用场景
图神经网络广泛应用于多个领域,包括但不限于:
- 社交网络分析:节点分类、社区检测和链接预测。
- 推荐系统:通过用户和项目之间的关系进行推荐。
- 分子图学习:在化学领域,通过分子结构图进行性质预测。
- 自然语言处理:用于知识图谱的构建与推理。
5. Python代码实现示例
以下是一个简单的图卷积网络(GCN)实现示例,使用Python的PyTorch和PyTorch Geometric库。
代码示例:节点分类
import torch
import torch.nn.functional as F
from torch_geometric.datasets import Planetoid
from torch_geometric.nn import GCNConv# 1. 数据准备
dataset = Planetoid(root='/tmp/Cora', name='Cora')
data = dataset[0]# 2. 定义图卷积网络(GCN)
class GCN(torch.nn.Module):def __init__(self, in_channels, hidden_channels, out_channels):super(GCN, self).__init__()self.conv1 = GCNConv(in_channels, hidden_channels)self.conv2 = GCNConv(hidden_channels, out_channels)def forward(self, data):x, edge_index = data.x, data.edge_indexx = self.conv1(x, edge_index)x = F.relu(x)x = F.dropout(x, training=self.training)x = self.conv2(x, edge_index)return F.log_softmax(x, dim=1)# 3. 实例化模型、优化器和损失函数
model = GCN(in_channels=dataset.num_node_features, hidden_channels=16, out_channels=dataset.num_classes)
optimizer = torch.optim.Adam(model.parameters(), lr=0.01)
criterion = torch.nn.CrossEntropyLoss()# 4. 训练模型
def train():model.train()optimizer.zero_grad()out = model(data)loss = criterion(out[data.train_mask], data.y[data.train_mask])loss.backward()optimizer.step()return loss.item()# 5. 测试模型
def test():model.eval()with torch.no_grad():out = model(data)pred = out.argmax(dim=1)test_correct = pred[data.test_mask] == data.y[data.test_mask]test_acc = int(test_correct.sum()) / int(data.test_mask.sum())return test_acc# 6. 运行训练和测试
for epoch in range(200):loss = train()if epoch % 20 == 0:test_acc = test()print(f'Epoch: {epoch}, Loss: {loss:.4f}, Test Accuracy: {test_acc:.4f}')
代码解释:
1. 数据准备:
- 使用
Planetoid
数据集(如Cora)作为输入数据,自动下载并准备图数据。
2. 定义GCN类:
GCN
类继承自torch.nn.Module
,包含两个图卷积层(GCNConv
)。- 在forward方法中,先通过第一个卷积层进行特征提取,接着使用ReLU激活函数和dropout,再通过第二个卷积层输出结果,最后使用
log_softmax
进行归一化。
3. 实例化模型:
- 创建GCN模型,定义优化器为Adam,并设定损失函数为交叉熵损失。
4. 训练模型:
train
函数用于模型训练,计算损失并反向传播。
5. 测试模型:
test
函数用于在测试集上评估模型性能,计算准确率。
6. 运行训练和测试:
- 循环进行200个epoch的训练,每20个epoch输出一次损失和测试准确率。
该示例展示了图神经网络的基本用法,体现了如何通过图卷积网络对图数据进行节点分类任务。通过训练,模型能够有效学习图结构中的节点关系,从而在测试集上进行准确分类。