深度学习03-神经网络01-什么是神经网络？

神经网络的基本概念

人工神经网络（Artificial Neural Network，ANN）：
- 是一种模仿生物神经网络的计算模型。由多个神经元（或称为节点）组成，这些节点通过不同的连接来传递信息。
- 每个神经元可以接收来自其他神经元的信息，经过加权和激活函数的处理后，再将信息传递到下一个神经元。

神经元的结构

在人工神经网络中，每个神经元都通过公式来处理输入信息并生成输出。神经元的核心组成部分包括：

输入（Input）：来自前一层的输入数据。
加权求和：每个输入都会乘以一个权重（w），加上偏置项（b）。
激活函数（Activation Function）：对加权和的结果进行非线性变换，使得模型能够处理复杂的非线性关系。常见的激活函数包括 Sigmoid、ReLU 和 Tanh。
输出（Output）：经过激活函数处理后的值，作为传递到下一层的输入。

公式表达： $[ f(x) = \text{Activation Function} \left( b + \sum_{i=1}^{n} x_i w_i \right) ]$ 其中，(x_i) 是输入，(w_i) 是权重，(b) 是偏置项，激活函数 (f(x)) 用来引入非线性。

神经网络的层次结构

输入层（Input Layer）：
- 输入层的神经元接收外界输入数据。这些数据可以是图像的像素值、文本的词向量等。输入层本身不做任何处理，只是将输入信息传递到下一个层。
隐藏层（Hidden Layer）：
- 隐藏层是神经网络的中间层，它负责对输入数据进行复杂的特征提取。一个神经网络可以包含多个隐藏层，每个隐藏层都对前一层的输出进行处理。
- 每个隐藏层的神经元通过权重与前一层的神经元连接，并使用激活函数将线性变换结果转化为非线性输出。
输出层（Output Layer）：
- 输出层的神经元数量取决于任务类型，例如，回归任务可能只有一个输出节点，而分类任务则有多个输出节点，表示不同的类别。
- 输出层的输出经过处理后用于做出最终的预测。

全连接神经网络（Fully Connected Neural Network）

我们可以看到一个全连接神经网络的结构示意图：

全连接（Fully Connected）：在全连接网络中，当前层的每个神经元都会与下一层的每个神经元进行连接。这意味着每个神经元的输出都会影响下一层所有神经元的输入。
层与层之间的连接：输入层连接到隐藏层，隐藏层再连接到输出层。每一层的输出都作为下一层的输入。

特点：

前向传播：信息从输入层经过隐藏层逐层传递到输出层。
- 输入层 -> 隐藏层 -> 输出层。
每一层之间的全连接：每个神经元都会通过特定的权重连接到下一层的所有神经元，称为全连接层。
激活函数的作用：隐藏层中通常会使用激活函数引入非线性，使得网络能够学习到复杂的映射关系。
权重和偏置：每个神经元的输出都取决于输入、权重和偏置，通过反向传播和梯度下降，神经网络会调整这些参数以最小化损失函数。

可以使用这个进行跳转链接到谷歌的神经网络可视化网站

http://playground.tensorflow.org/#activation=relu&batchSize=11&dataset=spiral&regDataset=reg-gauss&learningRate=0.01&regularizationRate=0.1&noise=0&networkShape=7,5,4,3,2&seed=0.54477&showTestData=false&discretize=false&percTrainData=50&x=true&y=true&xTimesY=false&xSquared=false&ySquared=false&cosX=false&sinX=false&cosY=false&sinY=false&collectStats=false&problem=classification&initZero=false&hideText=false