理解神经网络

        一只猫大约有10亿个神经元,一只老鼠大约有7500万个神经元。
        相比之下,许多人工神经网络包含的神经元要少得多,通常只有几百个。
        所以我们在不久的将来随时创建一个人工大脑是没有危险的。



从生物神经元到人工神经元
    使用输入的数据以获得等离子体参数的一种计算机编码或者电路,这种编码预先对一系列实例按“人脑思维过程”进行训练。
    神经网络也是一种预测算法,只是不是线性的,准测率比多元线性回归高,但是消耗资源也更多
            网络拓扑:描述了模型中神经元的数量以及层数和它们连接的方式。
            训练算法:指定如何设置连接权重,以便抑制或增加某个神经元在输入信号中的比重。
            激活函数:将神经元的净输入信号转换成单一的输出信号,以便进一步在网络中传播。

            

    激活函数(Activation Function)
            激活函数是用来加入非线性因素的,因为线性模型的表达能力不够。
            目前常用
            ReLU : (Rectified Linear Units)  变的越来越受欢迎
                     f(x)=max(0,x)
           Sigmoid : 是常用的非线性的激活函数,它的数学形式如下: 
             它能够把输入的连续实值“压缩”到0和1之间 
                                             

网络拓扑层—单层网络

    求出模型也是求出其中的 w1、w2、w3
    对输入的一个维度的值,当它受到另外一个因素影响时,它的输出结果是不同,这时单层网络就不行了,这时就需要增加隐藏节点
网络拓扑层—多层网络
训练神经网络
    误差值并 不是越小越好,可能会 过拟合这个模型过于拟合这部分数据,并不适应于其他数据。)
    解决办法:
                增加数据、修改算法、增加训练集
    增加训练集:
                这时可以把将数据分为训练集、测试集
                训练、测试比例 6:4、7:3、8:2都可以
归一化
    减小数据值的范围,将数据离散化
    这里是最大值最小值归一化,根据公式结果范围为0~1 
    神经网络我们一定要去做归一化!, 减少计算难度
    例子:
normalize <- function(x){
  return ((x - min(x)) / (max(x) - min(x)))
}
    最大值最小值归一化 缺点
            容易受到异常值影响,例如大部分数据都集中在 0~100,假如这时最大值为1000,那么经过归一化后,数据会到 0~1000,反而范围扩大了
增加模型准确率:
            增加隐藏节点
            但是增加节点也就意味着需要计算更多的时间和更多的计算资源


水泥例子
     把数据(不同的调料配比得到的水泥强度)分成训练集和测试集
     根据训练集,通过神经网络求得模型
     将测试集带入模型求得强度,与测试集的强度求相关系数,得到模型正确率。
数据:


代码:
concrete <- read.csv("NeuralNetworks/data/concrete.csv")
#查看结构
str(concrete)


#定义归一化函数
#减小数据值的范围
#将数据离散化
#这里是最大值最小值归一化,根据公式结果范围为0~1
normalize <- function(x){
  return ((x - min(x)) / (max(x) - min(x)))
}
#最大值最小值归一化缺点:
#   容易受到异常值影响,例如单单最大值比平均值大很多

#应用归一化,as.data.frame返回dataFrame
# lapply(数据对象,函数名)
concrete_norm <- as.data.frame(lapply(concrete, normalize))
#显示概要:对比没有归一化与归一化 值的范围
summary(concrete_norm$strength)
summary(concrete$strength)


#避免过拟合,将数据分为训练集、测试集
#训练集:取1至773行的所有列
#测试集:取774至1030行的所有列
#训练、测试比例 6:4、7:3、8:2都可以
concrete_train <- concrete_norm[1:773,]
concrete_test <- concrete_norm[774:1030,]


#用训练集用neuralnet生成模型
#neuralnet(因变量+ ~ + 作为维度的列,data=数据对象)
#需要导入neuralnet包:
#   先安装neuralnet包后
#   在右下角点Packages标签,勾选neuralnet即导入
concrete_model <- neuralnet(strength ~ cement + slag + ash + water + superplastic + coarseagg + fineagg + age, data=concrete_train)

#用模型生成神经网络图
# error带入训练集的误差值
# steps求解最优解的计算步数
plot(concrete_model)



#取测试集的1-8列带入模型进行测试,得到模型的预测结果
model_results <- compute(concrete_model, concrete_test[1:8])
#得到结果列
predicted_strength <- model_results$net.result
#计算预测值与测试集的相关系数
#即模型的预测准确率
cor(predicted_strength, concrete_test$strength)



#提高预测准确度
#增加了隐藏层的隐藏节点的个数
#指定hidden参数指定隐藏节点个数
concrete_model2 <- neuralnet(strength ~ cement + slag + ash + water + superplastic + coarseagg + fineagg + age, data=concrete_train, hidden=5)
#查看此时的网络图
plot(concrete_model2)




#查看增加节点后的预测准确度
model_results2 <- compute(concrete_model2, concrete_test[1:8])
predicted_strength2 <- model_results2$net.result
cor(predicted_strength2, concrete_test$strength)


完整代码:

concrete <- read.csv("NeuralNetworks/data/concrete.csv")
#查看结构
str(concrete)

#定义归一化函数
#减小数据值的范围
#将数据离散化
#这里是最大值最小值归一化,根据公式结果范围为0~1
normalize <- function(x){
  return ((x - min(x)) / (max(x) - min(x)))
}
#最大值最小值归一化缺点:
#   容易受到异常值影响,例如单单最大值比平均值大很多

#应用归一化,as.data.frame返回dataFrame
# lapply(数据对象,函数名)
concrete_norm <- as.data.frame(lapply(concrete, normalize))
#显示概要:对比没有归一化与归一化 值的范围
summary(concrete_norm$strength)
summary(concrete$strength)

#避免过拟合,将数据分为训练集、测试集
#训练集:取1至773行的所有列
#测试集:取774至1030行的所有列
#训练、测试比例 6:4、7:3、8:2都可以
concrete_train <- concrete_norm[1:773,]
concrete_test <- concrete_norm[774:1030,]

#用训练集用neuralnet生成模型
#neuralnet(因变量+ ~ + 作为维度的列,data=数据对象)
#需要导入neuralnet包:
#   先安装neuralnet包后
#   在右下角点Packages标签,勾选neuralnet即导入
concrete_model <- neuralnet(strength ~ cement + slag + ash + water + superplastic + coarseagg + fineagg + age, data=concrete_train)

#用模型生成神经网络图
# error带入训练集的误差值
# steps求解最优解的计算步数
plot(concrete_model)

#取测试集的1-8列带入模型进行测试,得到模型的预测结果
model_results <- compute(concrete_model, concrete_test[1:8])
#得到结果列
predicted_strength <- model_results$net.result
#计算预测值与测试集的相关系数
#即模型的预测准确率
cor(predicted_strength, concrete_test$strength)

#提高预测准确度
#增加了隐藏层的隐藏节点的个数
#指定hidden参数指定隐藏节点个数
concrete_model2 <- neuralnet(strength ~ cement + slag + ash + water + superplastic + coarseagg + fineagg + age, data=concrete_train, hidden=5)
#查看此时的网络图
plot(concrete_model2)

#查看增加节点后的预测准确度
model_results2 <- compute(concrete_model2, concrete_test[1:8])
predicted_strength2 <- model_results2$net.result
cor(predicted_strength2, concrete_test$strength)


添加新评论