Python库安装报错解决思路以及机器学习环境配置详细方案

概要

现在是一个人走，也要走得很远

在闲鱼小店的经营过程中，遇到了各种千奇百怪的问题，当然也认识了好多好多优秀的人，特别几位重要的人，很幸福的一件事。
记录了疑难杂症的解决过程，希望对后续学习Python的同学们有所帮助，谨以此篇留作纪念。

第三方库

也是一些常见的库

gdal

这里遇到的多数问题为：ModuleNotFoundError: No module named ‘gdal‘
我们得先解决安装问题，一般思路先考虑是否有whl文件可以直接安装
gdal 的whl文件合集，范围为cp38-cp312

https://wwt.lanzout.com/b05ex0bfe

密码:brkw

好了，安装好后，初学者仍然会发现import gdal失败
其实正确的导入使用方式为

from osgeo import gdal

详情可见
ModuleNotFoundError: No module named ‘gdal‘

pymol

whl仓库

talib

whl仓库

mahotas

这个库比较刁钻，我测试了多篇文章后才成功
上链接
mahotas安装教程

graphviz

这也是一个安装频率很高的库，但要正常使用的话
除了使用pip安装库之外，windows电脑上还得单独安装graphviz这个软件
详细的步骤见
Graphviz安装配置教程（图文详解）

切记安装的时候要记得添加系统环境变量！！！
安装好后，如果没有重启电脑或者jupyter内核，大概率还是会遇到问题

You’ must : install pydot ( pip install pydot^ ) and install graphviz
(see instructions at https: //graphviz. gitlab. io/ dowmload/) for
plot_ mod el/model_to dot to work.

这时候如果为了保存电脑工作流，不想重启的话
不妨试一下以下两种办法
1.conda重新安装
You must pip install pydot and install graphviz
2.添加graphviz执行路径

nltk-data

这个语料库的安装刚开始也是令人头疼
不过你了解流程之后，其实很简单的！
语料库网址：
https://www.nltk.org/nltk_data/
遇到的情况诸如
nltk.download(‘punkt‘)报错
nltk.download(‘punkt‘)报错问题解决方案

lazypredict

好好好，这个库我折腾了很久
最好解决方案为修改源码
【环境配置】Lazypredict的安装使用
from lazypredict.Supervised import LazyClassifier - TypeError: OneHotEncoder.init() got an unexpected keyword argument ‘sparse’ #442
报错解决链接

scikit-surprise

针对windows安装经常遇到的报错
Windows安装scikit-surprise

nb_extensions

这个jupyter中的插件，其实我自己用的不多
不过可以不用，不能没有对吧（bushi
好，来看一下怎么安装不踩坑，顺便吐槽很多文章很不靠谱
下面这篇文章是我亲自认证好用的
安装Nbextensions和推荐功能，解决安装完不显示内容、功能为灰色的问题

pyqt5-tools

主要解决对高版本python无法使用的问题
在不同版本Python中安装PyQT5及PyQT5-Tools

spacy、en_core_web_sm

【自然语言处理系列】手动安装和测试Spacy中en_core_web_sm模型的详细教程

机器学习

这部分的安装，才是好多人灰心的地方，AI的问法很重要，更关键是有自己的经验和判断力

GPU-torch安装

对于很多研究生、博士生来说，这里可以算是梦启航的地方了
安装错误主要在于一直安装为cpu版本的torch
默认的国内镜像是cpu版本
这里介绍一种环境安装教程
3.8 CUDA10.2 安装
pytorch gpu版安装（普适稳妥，亲测有效）

官网一键指令如

pip install torch==1.9.0+cu102 torchvision==0.10.0+cu102 torchaudio==0.9.0 -f https://download.pytorch.org/whl/torch_stable.html

还有如何给自己的电脑显卡还有python版本安装合适的torch
Python与PyTorch的版本对应
Torch 、torchvision 、Python 版本对应关系以及安装 GPU 或 CPU 版本的 pytorch
包括cuda安装卸载
【GPU调用及CUDA安装 看完全会！】使用gpu进行各类训练/运行代码

windows下CUDA的卸载以及安装
Tips：

为了确保gpu高效率运行，最好安装和nvidia-smi相差不是很大的版本吧，

torch_geometric安装

pytorch正确的安装torch_geometric,无bug、多种类版本

ubuntu安装显卡驱动

ubuntu系统安装nvidia显卡驱动（简单方法）

dlib安装

这个安装也是蛮常见的
python3.7-3.11版本whl文件快速直接安装dlib库（无需安装cmake！！！）手把手教你安装

Windows-安装dlib库（亲测绝对可以，超详细）

torch-cluster、torch-scatter、torch-sparse和torch-geometric

重要的也是whl文件
python安装torch-cluster、torch-scatter、torch-sparse和torch-geometric

YOLO

YOLOv5
【深度学习】YOLOV5-WIN10环境搭建（配置+训练
YOLOv8
YOLOv8入门篇–YOLOv8的安装和使用
【YOLO】YOLOv8训练环境配置 python 3.8.18 + cuda 11.3.1 + cudnn 8.2.1 + pytorch 1.12.1-gpu版

apex

RuntimeError: apex.optimizers.FusedSGD requires cuda extension

【问题解决】RuntimeError: apex.optimizers.FusedSGD requires cuda extension 问题解决

tensorflow-gpu

Tensorflow-gpu保姆级安装教程（Win11, Anaconda3，Python3.9）

paddle 3060

官方安装指南

3060显卡下CUDA+CUDNN+Paddle安装的血泪史

第五步：RTX 3060配置CUDA和cuDNN、安装PyTorch

tf和keras版本对应

tf的2.16.1的版本对应keras的3.0.0版本

导入库的时候，就直接from keras.models什么的，不用from tensorflow.keras.modesl这样导入

深度学习 | 基于 CPU 的 tensorflow + keras + python 版本对照及环境安装_python tensorflow 和keras版本-CSDN博客

因为tensorflow 2.0版本开始集成了keras，成为了 tensorflow.keras API，因此不用额外安装，并且无需 import keras。

Python && Pycharm

入门，挺简单的了

Python官方各版本下载地址：

https://www.python.org/ftp/python/

国内华为镜像：

https://mirrors.huaweicloud.com/python/

https://repo.huaweicloud.com/python/

1. 清华大学开源软件镜像站: https://mirrors.tuna.tsinghua.edu.cn/
2. 阿里云开源镜像站: https://mirrors.aliyun.com/
3. 中国科学技术大学镜像站: https://mirrors.ustc.edu.cn/
4. 华中科技大学镜像站: https://mirrors.hust.edu.cn/

conda && jupyter

小技巧多

conda打包环境

conda-pack库

打包conda环境的两种方法：conda env export和Conda-Pack-CSDN博客

使用conda pack进行环境迁移（步骤很详细）-CSDN博客

jupyter切换虚拟环境

Jupyter notebok 环境配置，与kernel切换（切换虚拟环境）

3.2，在环境中手动安装你的kernel，因为在第二步中我们已经在创造的环境中安装了ipykernel了，所以，我们直接在环境里执行下面的代码来手动添加kernel进jupyter notebook

python -m ipykernel install --user --name py27 --display-name "Python (py27)"

这里，第一个py27 是我创造的环境的名称，后面的Python (py27)是我希望在jupyter notebook中kernel显示的名字。

查看安装的内核和位置

jupyter kernelspec list

删除 kernel

jupyter kernelspec remove tensorflow

ubuntu-conda

Ubuntu 安装 conda

Ubuntu20.04安装配置tensorflow2深度学习环境_ubuntu20安装tensorflow2-CSDN博客

jupyter切换默认浏览器

更改Jupyter Notebook打开的默认浏览器（切换到Edge为例）_如何更改jupyter notebook打开的浏览器-CSDN博客

VsCode 终端激活 anconda 环境问题解决措施

VsCode 终端激活 anconda 环境问题解决措施

conda环境迁移及终端唤醒

操作后可关闭pycharm再打开

【保姆级教程】Anaconda环境迁移：直接将之前搭建好的环境从一个机子迁移到另一个机子

conda config --append envs_dirs

ERRor（持续更新）

这个比较多了，持续更新好了

安装过程遇到dll文件缺失，如python36.dll

python36.dll 搜索结果 | DLL‑files.com

lda UnicodeEncodeError: ‘ascii’ codec can’t encode characters in position 18-20: ordinal not in range(128)

LDA 中用pyLDAvis可视化出现的编码问题求救？？？？？？？？？？？？？_有问必答-CSDN问答

ImportError: libtorch_cuda_cu.so: cannot open shared object file: No such file or directory

ImportError: libtorch_cuda_cu.so: cannot open shared object file: No such file or directory

graphviz中文乱码

win10的python的graphviz中文乱码问题解决

Others

比较mix

Mac M芯片安装py3.7

https://arrebol2020.com/posts/m1-mac-conda/#:~:text=是因为 对于 M1 芯片的 Macos，不支持 python3.8 一下的 python,x86_64 架构的 channel conda install python%3D3.7 ：安装 ptyhon3.7

selenium配置

前3位相同就行

Chrome历史版本下载和Selenium驱动版本下载_selenium谷歌浏览器旧版本下载-CSDN博客

chromedriver.storage.googleapis.com

Download older versions of Google Chrome for Windows, Linux and Mac

解决selenium打开浏览器自动退出_selenium打开网页闪退-CSDN博客

from selenium import webdriver
driver = webdriver.Chrome()
driver.get(‘https://www.baidu.com’)

pyinstaller

python2.7 py文件转化成exe文件（不安装python也可以运行py文件）_python27 pyinstaller-CSDN博客

pyinstaller --onefile --paths=/path/to/your/directory xxx.py