sklearn红酒数据集分类器的构建和评估
实验目的： 1. 掌握sklearn科学数据包中决策树和神经网络分类器的构建 2. 掌握对不同分类器进行综合评估
实验数据： 红酒数据集
红酒数据集利用红酒的化学特征来描述三种不同类型的葡萄酒。
实验内容与要求：
- 解压文件得到wine数据。利用pandas的read excel方法读取数据，注意保留数据的每一行数据。读取结束打印前两行
- 正确划分特征值矩阵X和分类目标向量y，打印数据大小（使用shape属性）
- 准备训练集和测试集（7：3）
- 利用sklearn构建神经网络分类器模型，在训练集上完成训练，观察在训练集、测试集上模型性能（如准确率、分类报告和混淆矩阵）。对参数进行调整，记录2组参数(例如不同隐藏层层数或大小设置）下的分类性能对比，讨论是否隐层数目越多越好。
- 准备决策树模型,在训练集上完成训练，对比决策树模型和神经网络的调试过程和训练结果，说明有何不同。
ModuleNotFoundError: No module named ‘sklearn’
pip install scikit-learn
1. 读取数据
用pandas的read excel方法读取wine.xlsx的数据，注意保留数据的每一行数据，读取结束打印前两行
import pandas as pd# df = pd.read_excel('wine.xlsx', nrows=2) # 读取wine.xlsx文件的前两行
# print(df) # 打印读取到的数据(显示数据帧内容)
data = pd.read_excel('wine.xlsx') # 读取Excel文件
print(data.head(2)) # 打印前2行数据
2. 划分数据
假设数据的最后一列是目标变量（分类目标），其余列是特征。
# 特征值和目标值的划分
X = data.iloc[:, :-1] # 去掉最后一列作为特征矩阵
y = data.iloc[:, -1] # 最后一列作为目标向量# 打印数据的大小
print('X shape:', X.shape) # X shape: (177, 13)
print('y shape:', y.shape) # y shape: (177,)
3. 准备训练集和测试集
使用sklearn的 train_test_split 方法进行数据划分，比例为7:3。
from sklearn.model_selection import train_test_split# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)print('Training set shape:', X_train.shape) # Training set shape: (123, 13)
print('Testing set shape:', X_test.shape) # Testing set shape: (54, 13)
4. 构建神经网络分类器模型
利用sklearn构建神经网络分类器模型，在训练集上完成训练，观察在训练集、测试集上模型性能（如准确率、分类报告和混淆矩阵）。对参数进行调整，记录2组参数(例如不同隐藏层层数或大小设置）下的分类性能对比，讨论是否隐层数目越多越好。
用scikit-learn的 MLPClassifier 构建神经网络分类器，并观察模型性能。
from sklearn.neural_network import MLPClassifier
from sklearn.metrics import accuracy_score, classification_report, confusion_matrix# 参数调整示例1
model1 = MLPClassifier(hidden_layer_sizes=(50,), max_iter=1000, random_state=42)
model1.fit(X_train, y_train)# 在训练集上预测
y_train_pred_1 = model1.predict(X_train)
# 在测试集上预测
y_test_pred_1 = model1.predict(X_test)# 结果评估
print('Model 1 - Training accuracy:', accuracy_score(y_train, y_train_pred_1))
print('Model 1 - Testing accuracy:', accuracy_score(y_test, y_test_pred_1))
print('Model 1 - Classification Report:\n', classification_report(y_test, y_test_pred_1))
print('Model 1 - Confusion Matrix:\n', confusion_matrix(y_test, y_test_pred_1))# 参数调整示例2
model2 = MLPClassifier(hidden_layer_sizes=(100, 50), max_iter=1000, random_state=42)
model2.fit(X_train, y_train)# 在训练集上预测
y_train_pred_2 = model2.predict(X_train)
# 在测试集上预测
y_test_pred_2 = model2.predict(X_test)# 结果评估
print('Model 2 - Training accuracy:', accuracy_score(y_train, y_train_pred_2))
print('Model 2 - Testing accuracy:', accuracy_score(y_test, y_test_pred_2))
print('Model 2 - Classification Report:\n', classification_report(y_test, y_test_pred_2))
print('Model 2 - Confusion Matrix:\n', confusion_matrix(y_test, y_test_pred_2))屏蔽FutureWarning等
import warnings
warnings.filterwarnings('ignore')
运行结果：
Model 1 - Training accuracy: 0.967479674796748
Model 1 - Testing accuracy: 0.018518518518518517
Model 1 - Classification Report:precision recall f1-score support278 0.00 0.00 0.00 0290 0.00 0.00 0.00 0342 0.00 0.00 0.00 1372 0.00 0.00 0.00 1378 0.00 0.00 0.00 0380 0.00 0.00 0.00 1385 0.00 0.00 0.00 1406 0.00 0.00 0.00 1407 0.00 0.00 0.00 1410 0.00 0.00 0.00 0415 0.00 0.00 0.00 0434 0.00 0.00 0.00 0438 0.00 0.00 0.00 0450 0.00 0.00 0.00 2463 0.00 0.00 0.00 0470 0.00 0.00 0.00 1480 0.00 0.00 0.00 1488 0.00 0.00 0.00 0495 0.33 1.00 0.50 1500 0.00 0.00 0.00 1502 0.00 0.00 0.00 1510 0.00 0.00 0.00 1515 0.00 0.00 0.00 2520 0.00 0.00 0.00 0550 0.00 0.00 0.00 1560 0.00 0.00 0.00 0562 0.00 0.00 0.00 2564 0.00 0.00 0.00 1570 0.00 0.00 0.00 1580 0.00 0.00 0.00 0600 0.00 0.00 0.00 1607 0.00 0.00 0.00 1620 0.00 0.00 0.00 1625 0.00 0.00 0.00 1630 0.00 0.00 0.00 1640 0.00 0.00 0.00 1660 0.00 0.00 0.00 0675 0.00 0.00 0.00 1680 0.00 0.00 0.00 2685 0.00 0.00 0.00 0695 0.00 0.00 0.00 0710 0.00 0.00 0.00 0718 0.00 0.00 0.00 1720 0.00 0.00 0.00 0735 0.00 0.00 0.00 0750 0.00 0.00 0.00 2760 0.00 0.00 0.00 1780 0.00 0.00 0.00 2795 0.00 0.00 0.00 0830 0.00 0.00 0.00 2840 0.00 0.00 0.00 0845 0.00 0.00 0.00 1880 0.00 0.00 0.00 1920 0.00 0.00 0.00 0970 0.00 0.00 0.00 1985 0.00 0.00 0.00 0990 0.00 0.00 0.00 11020 0.00 0.00 0.00 01035 0.00 0.00 0.00 01045 0.00 0.00 0.00 01065 0.00 0.00 0.00 11080 0.00 0.00 0.00 01095 0.00 0.00 0.00 11120 0.00 0.00 0.00 01130 0.00 0.00 0.00 11150 0.00 0.00 0.00 11190 0.00 0.00 0.00 11270 0.00 0.00 0.00 11280 0.00 0.00 0.00 11285 0.00 0.00 0.00 21320 0.00 0.00 0.00 01450 0.00 0.00 0.00 01480 0.00 0.00 0.00 11510 0.00 0.00 0.00 11515 0.00 0.00 0.00 1accuracy 0.02 54macro avg 0.00 0.01 0.01 54
weighted avg 0.01 0.02 0.01 54Model 1 - Confusion Matrix:[[0 0 0 ... 0 0 0][0 0 0 ... 0 0 0][0 0 0 ... 0 0 0]...[0 0 0 ... 0 0 0][0 0 0 ... 0 0 0][0 0 0 ... 0 0 0]]
Model 2 - Training accuracy: 1.0
Model 2 - Testing accuracy: 0.05555555555555555
Model 2 - Classification Report:precision recall f1-score support290 0.00 0.00 0.00 0325 0.00 0.00 0.00 0342 0.00 0.00 0.00 1345 0.00 0.00 0.00 0372 0.00 0.00 0.00 1378 0.00 0.00 0.00 0380 1.00 1.00 1.00 1385 0.00 0.00 0.00 1406 0.00 0.00 0.00 1407 0.00 0.00 0.00 1420 0.00 0.00 0.00 0428 0.00 0.00 0.00 0438 0.00 0.00 0.00 0450 0.00 0.00 0.00 2463 0.00 0.00 0.00 0470 0.00 0.00 0.00 1480 0.00 0.00 0.00 1495 0.50 1.00 0.67 1500 0.00 0.00 0.00 1502 0.00 0.00 0.00 1510 0.00 0.00 0.00 1515 0.00 0.00 0.00 2520 0.00 0.00 0.00 0550 0.00 0.00 0.00 1560 0.00 0.00 0.00 0562 0.00 0.00 0.00 2564 0.00 0.00 0.00 1570 0.00 0.00 0.00 1580 0.00 0.00 0.00 0600 0.00 0.00 0.00 1607 0.00 0.00 0.00 1620 0.00 0.00 0.00 1625 0.00 0.00 0.00 1630 0.00 0.00 0.00 1640 0.00 0.00 0.00 1660 0.00 0.00 0.00 0675 0.00 0.00 0.00 1680 0.00 0.00 0.00 2685 0.00 0.00 0.00 0695 0.00 0.00 0.00 0718 0.00 0.00 0.00 1720 0.00 0.00 0.00 0750 0.00 0.00 0.00 2760 0.00 0.00 0.00 1770 0.00 0.00 0.00 0780 0.00 0.00 0.00 2795 0.00 0.00 0.00 0830 0.00 0.00 0.00 2840 0.00 0.00 0.00 0845 0.00 0.00 0.00 1880 0.00 0.00 0.00 1970 0.00 0.00 0.00 1985 0.00 0.00 0.00 0990 0.00 0.00 0.00 11035 0.00 0.00 0.00 01050 0.00 0.00 0.00 01060 0.00 0.00 0.00 01065 0.00 0.00 0.00 11080 0.00 0.00 0.00 01095 0.00 0.00 0.00 11120 0.00 0.00 0.00 01130 0.00 0.00 0.00 11150 1.00 1.00 1.00 11190 0.00 0.00 0.00 11270 0.00 0.00 0.00 11280 0.00 0.00 0.00 11285 0.00 0.00 0.00 21295 0.00 0.00 0.00 01375 0.00 0.00 0.00 01450 0.00 0.00 0.00 01480 0.00 0.00 0.00 11510 0.00 0.00 0.00 11515 0.00 0.00 0.00 11547 0.00 0.00 0.00 0accuracy 0.06 54macro avg 0.03 0.04 0.04 54
weighted avg 0.05 0.06 0.05 54Model 2 - Confusion Matrix:[[0 0 0 ... 0 0 0][0 0 0 ... 0 0 0][0 0 0 ... 0 0 0]...[0 0 0 ... 0 0 0][0 0 0 ... 0 0 0][0 0 0 ... 0 0 0]]
讨论：
记录了两组不同的参数下的分类性能。
- 模型1：使用一个隐藏层，包含50个神经元。
- 模型2：使用两个隐藏层，分别包含100和50个神经元。
通过对比可以发现：通常，更复杂的模型（更多的隐层和神经元）能够捕捉数据中的更多特征，但也可能导致过拟合。因此，在选用模型时需要进行适当的验证，观察在测试集上的表现，并合理选择模型的复杂度。
5. 构建决策树模型
准备决策树模型,在训练集上完成训练，对比决策树模型和神经网络的调试过程和训练结果，说明有何不同。
接下来，使用决策树进行分类，并对比其与神经网络的性能。
from sklearn.tree import DecisionTreeClassifier# 决策树模型
tree_model = DecisionTreeClassifier(random_state=42)
tree_model.fit(X_train, y_train)# 在训练集上预测
y_train_pred_tree = tree_model.predict(X_train)
# 在测试集上预测
y_test_pred_tree = tree_model.predict(X_test)# 结果评估
print('Decision Tree - Training accuracy:', accuracy_score(y_train, y_train_pred_tree))
print('Decision Tree - Testing accuracy:', accuracy_score(y_test, y_test_pred_tree))
print('Decision Tree - Classification Report:\n', classification_report(y_test, y_test_pred_tree))
print('Decision Tree - Confusion Matrix:\n', confusion_matrix(y_test, y_test_pred_tree))运行结果：
Decision Tree - Training accuracy: 1.0
Decision Tree - Testing accuracy: 0.0
Decision Tree - Classification Report:precision recall f1-score support290 0.00 0.00 0.00 0.0342 0.00 0.00 0.00 1.0352 0.00 0.00 0.00 0.0372 0.00 0.00 0.00 1.0378 0.00 0.00 0.00 0.0380 0.00 0.00 0.00 1.0385 0.00 0.00 0.00 1.0406 0.00 0.00 0.00 1.0407 0.00 0.00 0.00 1.0415 0.00 0.00 0.00 0.0428 0.00 0.00 0.00 0.0438 0.00 0.00 0.00 0.0450 0.00 0.00 0.00 2.0470 0.00 0.00 0.00 1.0480 0.00 0.00 0.00 1.0488 0.00 0.00 0.00 0.0495 0.00 0.00 0.00 1.0500 0.00 0.00 0.00 1.0502 0.00 0.00 0.00 1.0510 0.00 0.00 0.00 1.0515 0.00 0.00 0.00 2.0520 0.00 0.00 0.00 0.0550 0.00 0.00 0.00 1.0560 0.00 0.00 0.00 0.0562 0.00 0.00 0.00 2.0564 0.00 0.00 0.00 1.0570 0.00 0.00 0.00 1.0590 0.00 0.00 0.00 0.0600 0.00 0.00 0.00 1.0607 0.00 0.00 0.00 1.0615 0.00 0.00 0.00 0.0620 0.00 0.00 0.00 1.0625 0.00 0.00 0.00 1.0630 0.00 0.00 0.00 1.0640 0.00 0.00 0.00 1.0650 0.00 0.00 0.00 0.0675 0.00 0.00 0.00 1.0680 0.00 0.00 0.00 2.0695 0.00 0.00 0.00 0.0718 0.00 0.00 0.00 1.0720 0.00 0.00 0.00 0.0725 0.00 0.00 0.00 0.0740 0.00 0.00 0.00 0.0750 0.00 0.00 0.00 2.0760 0.00 0.00 0.00 1.0770 0.00 0.00 0.00 0.0780 0.00 0.00 0.00 2.0795 0.00 0.00 0.00 0.0830 0.00 0.00 0.00 2.0845 0.00 0.00 0.00 1.0870 0.00 0.00 0.00 0.0880 0.00 0.00 0.00 1.0886 0.00 0.00 0.00 0.0970 0.00 0.00 0.00 1.0985 0.00 0.00 0.00 0.0990 0.00 0.00 0.00 1.01035 0.00 0.00 0.00 0.01045 0.00 0.00 0.00 0.01065 0.00 0.00 0.00 1.01080 0.00 0.00 0.00 0.01095 0.00 0.00 0.00 1.01105 0.00 0.00 0.00 0.01130 0.00 0.00 0.00 1.01150 0.00 0.00 0.00 1.01185 0.00 0.00 0.00 0.01190 0.00 0.00 0.00 1.01260 0.00 0.00 0.00 0.01265 0.00 0.00 0.00 0.01270 0.00 0.00 0.00 1.01280 0.00 0.00 0.00 1.01285 0.00 0.00 0.00 2.01310 0.00 0.00 0.00 0.01480 0.00 0.00 0.00 1.01510 0.00 0.00 0.00 1.01515 0.00 0.00 0.00 1.01547 0.00 0.00 0.00 0.0accuracy 0.00 54.0macro avg 0.00 0.00 0.00 54.0
weighted avg 0.00 0.00 0.00 54.0Decision Tree - Confusion Matrix:[[0 0 0 ... 0 0 0][1 0 0 ... 0 0 0][0 0 0 ... 0 0 0]...[0 0 0 ... 0 0 0][0 0 0 ... 0 0 0][0 0 0 ... 0 0 0]]
比较神经网络和决策树
- 训练过程：神经网络通常需要更多的训练时间和调整超参数（如学习率、隐藏层大小），而决策树参数较少，训练速度快。
- 性能：根据输出的准确率、分类报告和混淆矩阵，比较两个模型的表现。神经网络可能在某些复杂模式中表现更好，而决策树在处理缺失值和解释性方面更具优势。
- 复杂性与可解释性：神经网络更复杂，难以解释，而决策树的结果易于解释。
6. 总结
通过以上步骤，我们成功地读取了酒的数据集，训练了神经网络和决策树分类模型，并对比了它们的性能。在参数调整的过程中，我们讨论了隐藏层数量与模型性能之间的关系，并观察了不同模型在处理相同数据时的表现差异。