当前位置: 首页 > news >正文

【深度学习基础模型】图神经网络(Graph Neural Networks, GNNs)详细理解并附实现代码。

【深度学习基础模型】图神经网络(Graph Neural Networks, GNNs)详细理解并附实现代码。

【深度学习基础模型】图神经网络(Graph Neural Networks, GNNs)详细理解并附实现代码。


文章目录

  • 【深度学习基础模型】图神经网络(Graph Neural Networks, GNNs)详细理解并附实现代码。
  • 1. 起源与提出
  • 2. 发展
  • 3. 优缺点
  • 4. 应用场景
  • 5. Python代码实现示例


参考地址:https://www.asimovinstitute.org/neural-network-zoo/
论文地址:https://arxiv.org/pdf/1412.3555v1

欢迎宝子们点赞、关注、收藏!欢迎宝子们批评指正!

1. 起源与提出

图神经网络的起源可以追溯到图数据的处理需求。传统的神经网络在处理结构化数据(如图、树等)时,常常面临着局限性。GNN的提出旨在解决这一问题,使神经网络能够有效地学习图结构数据中的信息。

  • 早期研究:最早的图模型和算法如图卷积网络(GCN)和图递归神经网络(Graph RNN)在2017年左右被提出。
  • GCN的提出:Thomas Kipf和Max Welling于2017年提出了图卷积网络(GCN),为GNN的发展奠定了基础。他们提出通过卷积操作在图上进行特征学习,推动了图神经网络的研究。

2. 发展

图神经网络的发展经历了以下几个阶段:

  • 图卷积网络(GCN):GCN采用了谱图理论来进行图数据的学习,成为GNN领域的基石。通过图的邻接矩阵和特征矩阵来进行节点表示学习。
  • 图注意力网络(GAT):2018年,Velickovic等人提出了图注意力网络(GAT),引入了自注意力机制,使得模型能够自适应地关注邻居节点的不同重要性。
  • 动态图神经网络(DGN):近年来,随着动态图(Dynamic Graph)的研究兴起,动态图神经网络也逐渐受到关注,允许图结构随时间变化。
  • 多层图神经网络:研究者们开始探索多层GNN的架构,解决深层图神经网络在训练时可能遇到的过平滑和信息丢失问题。

3. 优缺点

优点:

  • 有效处理图结构数据:GNN能够直接在图结构上进行学习,适合社交网络、化学分子、推荐系统等领域。
  • 捕捉节点间关系:通过聚合邻居节点的信息,GNN能够捕捉到节点之间的复杂关系。
  • 扩展性:可以扩展到大规模图数据的处理。

缺点:

  • 计算复杂度:图的结构可能导致GNN在处理大规模图时计算复杂度较高。
  • 过平滑问题:在多层GNN中,信息的聚合可能导致节点表示趋同,丧失辨别能力。
  • 依赖于邻接矩阵:GNN的性能往往依赖于邻接矩阵的构造和图的稀疏性。

4. 应用场景

图神经网络广泛应用于多个领域,包括但不限于:

  • 社交网络分析:节点分类、社区检测和链接预测。
  • 推荐系统:通过用户和项目之间的关系进行推荐。
  • 分子图学习:在化学领域,通过分子结构图进行性质预测。
  • 自然语言处理:用于知识图谱的构建与推理。

5. Python代码实现示例

以下是一个简单的图卷积网络(GCN)实现示例,使用Python的PyTorch和PyTorch Geometric库。

代码示例:节点分类

import torch
import torch.nn.functional as F
from torch_geometric.datasets import Planetoid
from torch_geometric.nn import GCNConv# 1. 数据准备
dataset = Planetoid(root='/tmp/Cora', name='Cora')
data = dataset[0]# 2. 定义图卷积网络(GCN)
class GCN(torch.nn.Module):def __init__(self, in_channels, hidden_channels, out_channels):super(GCN, self).__init__()self.conv1 = GCNConv(in_channels, hidden_channels)self.conv2 = GCNConv(hidden_channels, out_channels)def forward(self, data):x, edge_index = data.x, data.edge_indexx = self.conv1(x, edge_index)x = F.relu(x)x = F.dropout(x, training=self.training)x = self.conv2(x, edge_index)return F.log_softmax(x, dim=1)# 3. 实例化模型、优化器和损失函数
model = GCN(in_channels=dataset.num_node_features, hidden_channels=16, out_channels=dataset.num_classes)
optimizer = torch.optim.Adam(model.parameters(), lr=0.01)
criterion = torch.nn.CrossEntropyLoss()# 4. 训练模型
def train():model.train()optimizer.zero_grad()out = model(data)loss = criterion(out[data.train_mask], data.y[data.train_mask])loss.backward()optimizer.step()return loss.item()# 5. 测试模型
def test():model.eval()with torch.no_grad():out = model(data)pred = out.argmax(dim=1)test_correct = pred[data.test_mask] == data.y[data.test_mask]test_acc = int(test_correct.sum()) / int(data.test_mask.sum())return test_acc# 6. 运行训练和测试
for epoch in range(200):loss = train()if epoch % 20 == 0:test_acc = test()print(f'Epoch: {epoch}, Loss: {loss:.4f}, Test Accuracy: {test_acc:.4f}')

代码解释:

1. 数据准备:

  • 使用Planetoid数据集(如Cora)作为输入数据,自动下载并准备图数据。

2. 定义GCN类:

  • GCN类继承自torch.nn.Module,包含两个图卷积层(GCNConv)。
  • 在forward方法中,先通过第一个卷积层进行特征提取,接着使用ReLU激活函数和dropout,再通过第二个卷积层输出结果,最后使用log_softmax进行归一化。

3. 实例化模型:

  • 创建GCN模型,定义优化器为Adam,并设定损失函数为交叉熵损失。

4. 训练模型:

  • train函数用于模型训练,计算损失并反向传播。

5. 测试模型:

  • test函数用于在测试集上评估模型性能,计算准确率。

6. 运行训练和测试:

  • 循环进行200个epoch的训练,每20个epoch输出一次损失和测试准确率。

该示例展示了图神经网络的基本用法,体现了如何通过图卷积网络对图数据进行节点分类任务。通过训练,模型能够有效学习图结构中的节点关系,从而在测试集上进行准确分类。


http://www.mrgr.cn/news/44550.html

相关文章:

  • 股市突然暴涨,需要保持理性
  • 18732 最短路问题
  • Oracle 实时表空间使用率和最大表空间使用率区别
  • 自动驾驶系统研发系列—如何选择适合自动驾驶的激光雷达?从基础到高端全解读
  • STM32PWM应用
  • 智能医疗:Spring Boot医院管理系统开发
  • 【韩顺平Java笔记】第8章:面向对象编程(中级部分)【262-271】
  • win11下AMD CPU支持WSL2
  • 如何使用BlinkShot.io生成照片
  • 爬虫案例——爬取长沙房产网租房信息
  • 手势分割系统源码&数据集分享
  • MATLAB中lsqminnorm函数用法
  • 【AI知识点】批归一化(Batch Normalization)
  • ArkUI中的状态管理
  • 【编程基础知识】Java静态导入的艺术与实践
  • 【前沿 热点 顶会】NIPS/NeurIPS 2024中与尖峰/脉冲神经网络(Spiking neural networks)有关的论文
  • 大模型新人必看经验,刷到少走数月弯路!
  • 括号匹配——(栈实现)
  • Java 中的 File 类及 InputStream 和 OutputStream 的用法总结
  • 医院综合服务系统小程序的设计