AI-基本概念-CNN/RNN/注意力机制
1 需求
神经网络
……
深度学习
……
深度学习包含哪些神经网络：
- 全连接神经网络
- 卷积神经网络
- 循环神经网络
- 基于注意力机制的神经网络
2 接口
3 示例
4 参考资料
神经网络——最易懂最清晰的一篇文章-CSDN博客
- 多层感知机（Multilayer Perceptron，MLP）
- 结构特点：是一种简单的前馈神经网络，由输入层、一个或多个隐藏层和输出层组成。神经元之间全连接，即每个神经元与相邻层的所有神经元都有连接。例如，在一个用于手写数字识别的简单 MLP 中，输入层接收图像像素值，经过隐藏层的非线性变换后，输出层输出各个数字类别对应的概率。
- 应用场景：广泛应用于分类和回归问题，如简单的图像分类、数据预测等。在自然语言处理领域可用于文本分类，在金融领域用于股票价格预测等。
- 卷积神经网络（Convolutional Neural Network，CNN）
- 结构特点：主要由卷积层、池化层和全连接层组成。卷积层通过卷积核提取数据的局部特征，池化层进行下采样以减少数据维度和计算量，全连接层用于分类或回归等任务。例如在人脸识别任务中，卷积层可以提取人脸五官轮廓等特征。
- 应用场景：在计算机视觉领域占据主导地位，用于图像分类（如识别图片中的物体是猫还是狗）、目标检测（检测图像中物体的位置和类别）、语义分割（将图像中的每个像素分类到不同语义类别）等。也在音频处理等领域有应用，如语音识别中的声学模型。
- 循环神经网络（Recurrent Neural Network，RNN）
- 结构特点：具有循环连接，能够处理序列数据。在每个时间步，神经元接收当前输入和上一个时间步的隐藏状态，经过处理后输出当前时间步的隐藏状态和预测结果。例如在机器翻译中，RNN 可以逐词处理输入句子和生成翻译后的句子。
- 应用场景：自然语言处理领域的文本生成、机器翻译、情感分析等任务，以及时间序列预测，如股票走势预测、气象数据预测等。不过，传统 RNN 存在梯度消失和梯度爆炸问题。
- 长短期记忆网络（Long - Short Term Memory，LSTM）和门控循环单元（Gated Recurrent Unit，GRU）
- 结构特点（以 LSTM 为例）：是 RNN 的变体，通过特殊的门控机制（输入门、遗忘门和输出门）来控制信息的流动，能够有效解决 RNN 中的梯度消失和梯度爆炸问题，更好地处理长序列数据。例如在长篇小说生成任务中，LSTM 可以有效地利用前文信息生成后续内容。GRU 结构相对更简单，将遗忘门和输入门合并为一个更新门，在性能上和 LSTM 类似，并且计算效率更高。
- 应用场景：和 RNN 类似，主要用于自然语言处理中的长文本处理、语音识别中的语音序列处理、时间序列分析等需要处理长序列数据的任务。
- 生成对抗网络（Generative Adversarial Network，GAN）
- 结构特点：由生成器和判别器两个神经网络组成。生成器的任务是生成尽可能逼真的数据，判别器的任务是区分真实数据和生成器生成的数据。两者通过对抗训练的方式不断提高性能，最终生成器能够生成高质量的假数据。例如在图像生成任务中，生成器可以根据噪声生成看起来像真实照片的图像。
- 应用场景：图像生成（如生成高分辨率的风景照片）、数据增强（为训练数据集生成新的样本）、风格迁移（将一种图像风格转换为另一种风格）等。
- 自编码器（Auto - Encoder）
- 结构特点：由编码器和解码器组成。编码器将输入数据压缩成低维的表示（编码），解码器将这个编码还原为尽可能接近原始输入的数据。例如，在图像压缩任务中，编码器将高分辨率图像转换为低维向量，解码器再将这个向量还原为图像。
- 应用场景：数据降维、图像去噪、特征提取等。例如，在医学影像处理中，可以利用自编码器提取有价值的特征用于疾病诊断。
- Transformer 架构
- 结构特点：基于自注意力机制（Self - Attention），摒弃了传统的循环结构，能够并行计算，大大提高了训练和推理速度。在处理序列数据时，通过计算每个位置与其他位置的相关性来提取特征。例如在自然语言处理中的 BERT 模型，就是基于 Transformer 架构，能够有效捕捉句子中单词之间的语义关系。
- 应用场景：自然语言处理领域的预训练语言模型（如 GPT 系列、BERT 系列）、机器翻译等任务。在计算机视觉领域也有基于 Transformer 的模型用于图像分类等任务。