python - 在linux上编译py文件为【.so】文件部署项目运行
python - 在linux上编译py文件为【.so】文件，可通过主文件直接执行
一. 前言
在Python中，通常不直接将Python代码编译为.so（共享对象）文件来执行，因为.so文件是编译后的二进制代码，通常用于C或C++等语言，并且它们被设计为可以被Python（通过C API）或其他语言（如C或C++）动态加载和执行。
二.打包编译项目
准备工作
一般linux上都会有GCC编译器，如若没有请先安装
1.安装Cython
pip install cython
2.将以下的脚本放在deploy目录下，项目所有文件放在project下面即可
1.编译为.c文件的代码
创建一个setup_cmd.py文件
import logging
import osfrom setuptools import setup
from Cython.Build import cythonize# ============================== 配置日志 ===============================
# 定义日志文件的名称
log_filename = 'setup_cmd.log'# 创建一个日志记录器
logger = logging.getLogger()
logger.setLevel(logging.INFO) # 设置日志级别为 INFO# 创建一个文件处理器，并设置级别为 INFO
file_handler = logging.FileHandler(log_filename, encoding='utf-8') # 指定编码为 utf-8
file_handler.setLevel(logging.INFO)# 创建一个流处理器（控制台输出），并设置级别为 INFO
stream_handler = logging.StreamHandler()
stream_handler.setLevel(logging.INFO)# 创建日志格式
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
file_handler.setFormatter(formatter)
stream_handler.setFormatter(formatter)# 将处理器添加到日志记录器
logger.addHandler(file_handler)
logger.addHandler(stream_handler)# ============================== 配置日志 ===============================
BASE_DIR = os.path.dirname(os.path.dirname(os.path.abspath(__file__))) # 设置 BASE_DIR
logger.info(f"BASE_DIR -> {BASE_DIR}\n")# 获取需要编译的文件列表
def get_py_files(directory, exclude_folders, exclude_file_list):py_files = []for root, dirs, files in os.walk(directory):for d in dirs:if d in exclude_folders:dirs.remove(d)for file in files:if file in exclude_file_list:logger.info(f"不需要编译文件：[{file}] 在 {exclude_file_list} 中！")continueif file.endswith('.py') and '-' not in file:py_files.append(os.path.join(root, file))logger.info(f'py_files -> {py_files}')logger.info(f'py_files count -> {len(py_files)}')return py_filesexclude_folders = ['tests', '.git', '.idea', '__pycache__', 'a-deploy', 'deploy']
exclude_file_list = ['app.py']# 1.编译打包
file_list = get_py_files(BASE_DIR, exclude_folders, exclude_file_list)
# 单个文件编译或多个文件
# file_list = ['/opt/pkg/project/dev/service/sessionService/service_impl/nw_session_history.py']
setup(ext_modules=cythonize(file_list, language_level=3), # 使用 Python 3 的语言级别
)
1.在linux环境下可直接执行文件
python3 setup_cmd.py
2.windows上直接使用命令执行
python3 setup_cmd.py build_ext --inplace
2.将.c文件转化为.so文件
创建setup_compile_file.py文件
主要是将以下命令拆解执行
gcc -pthread -Wsign-compare -DNDEBUG -g -fwrapv -O3 -Wall -fPIC -I/usr/local/include/python3.11 -c /opt/pkg/project/dev/base/utils/handle_tasks.c -o build/temp.linux-x86_64-cpython-311/opt/pkg/project/dev/base/utils/handle_tasks.o
gcc -pthread -shared build/temp.linux-x86_64-cpython-311/opt/pkg/project/dev/base/utils/handle_tasks.o -o build/lib.linux-x86_64-cpython-311/handle_tasks.cpython-311-x86_64-linux-gnu.so
代码如下，参考函数:compile_c_files
# -*- coding: utf-8 -*-
import logging
import os
import shutil
import subprocessfrom setuptools import setup
from Cython.Build import cythonizeimport osfrom concurrent.futures import ThreadPoolExecutor, wait, ALL_COMPLETEDexecutor = ThreadPoolExecutor(max_workers=50)# ============================== 配置日志 ===============================
# 定义日志文件的名称
log_filename = 'setup_compile_file.log'# 创建一个日志记录器
logger = logging.getLogger()
logger.setLevel(logging.INFO) # 设置日志级别为 INFO# 创建一个文件处理器，并设置级别为 INFO
file_handler = logging.FileHandler(log_filename, encoding='utf-8') # 指定编码为 utf-8
file_handler.setLevel(logging.INFO)# 创建一个流处理器（控制台输出），并设置级别为 INFO
stream_handler = logging.StreamHandler()
stream_handler.setLevel(logging.INFO)# 创建日志格式
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
file_handler.setFormatter(formatter)
stream_handler.setFormatter(formatter)# 将处理器添加到日志记录器
logger.addHandler(file_handler)
logger.addHandler(stream_handler)
# ============================== 配置日志 ===============================# BASE_DIR = os.getcwd()
BASE_DIR = os.path.dirname(os.path.dirname(os.path.abspath(__file__))) # 设置 BASE_DIR
logger.info(f"BASE_DIR -> {BASE_DIR}\n")executor = ThreadPoolExecutor(max_workers=10) # 根据需要调整线程数# 获取需要编译的文件列表
def get_py_files(directory, exclude_folders, exclude_file_list):py_files = []for root, dirs, files in os.walk(directory):for d in dirs:if d in exclude_folders:dirs.remove(d)for file in files:if file in exclude_file_list:logger.info(f"不需要编译文件：[{file}] 在 {exclude_file_list} 中！")continueif file.endswith('.py') and '-' not in file:py_files.append(os.path.join(root, file))logger.info(f'py_files -> {py_files}')logger.info(f'py_files count -> {len(py_files)}')return py_files# 编译扩展模块
def compile_pkg(file_list):setup(ext_modules=cythonize(file_list, language_level=3), # 使用 Python 3 的语言级别)subprocess.run(['python3', 'setup_compile_file.py', 'build_ext', '--inplace'])#
def copy_compiled_files(source_dir, target_dir, exclude_folders, exclude_file_list):""" 拷贝处理编译好的文件 """if os.path.exists(target_dir):shutil.rmtree(target_dir)logger.info(f"已删除旧的目标文件夹: {target_dir}")os.makedirs(target_dir)logger.info(f"已创建新的目标文件夹: {target_dir}")ans = 0# 遍历源文件夹 for root, dirs, files in os.walk(source_dir):# 过滤掉要排除的文件夹 dirs[:] = [d for d in dirs if d not in exclude_folders]# 遍历当前文件夹中的文件for file in files:try:if file in exclude_file_list:logger.info(f"不拷贝文件：[{file}] 在 exclude_file_list：{exclude_file_list} 中！")continue# 构造源和目标文件路径src_file = os.path.join(root, file)rel_path = os.path.relpath(root, source_dir)dst_file = os.path.join(target_dir, rel_path, file)# 确保目标文件夹存在os.makedirs(os.path.dirname(dst_file), exist_ok=True)# 拷贝文件shutil.copy2(src_file, dst_file)ans += 1logger.info(f'文件拷贝成功[src_file]:{src_file} -> [dst_file]:{dst_file}')except Exception as e:logger.info(f'文件拷贝异常：file:{file} -> error:{e}')logger.info(f"已成功拷贝编译文件，数量：{ans}")def delete_specific_files(folder, extensions, exclude_file_list):"""在指定文件夹中删除所有以extensions中指定的扩展名结尾的文件。:param folder: 文件夹路径:param extensions: 要删除的文件扩展名列表"""# 遍历文件夹logger.info(f"")ans = 0for root, dirs, files in os.walk(folder):for file in files:if file in exclude_file_list:logger.info(f"不删除文件：[{file}] 在 exclude_file_list：{exclude_file_list} 中！")continueif file.endswith(tuple(extensions)):os.remove(os.path.join(root, file))logger.info(f"已删除含有 {extensions} 的文件: {os.path.join(root, file)}")ans += 1logger.info(f"已删除以{extensions}结尾的文件数量：{ans}")def compile_c_files(target_dir, extensions, exclude_folders, exclude_file_list):"""编译文件（linux下的命令）gcc -pthread -Wsign-compare -DNDEBUG -g -fwrapv -O3 -Wall -fPIC -I/usr/local/include/python3.11 -c /opt/pkg/project/dev/base/utils/handle_tasks.c -o build/temp.linux-x86_64-cpython-311/opt/pkg/project/dev/base/utils/handle_tasks.ogcc -pthread -shared build/temp.linux-x86_64-cpython-311/opt/pkg/project/dev/base/utils/handle_tasks.o -o build/lib.linux-x86_64-cpython-311/handle_tasks.cpython-311-x86_64-linux-gnu.so"""# 遍历文件夹ans = 0futures = []for root, dirs, files in os.walk(target_dir):for file in files:if file in exclude_file_list:logger.info(f"文件：{file} 在 exclude_file_list:{exclude_file_list} 中，不需要编译！")continueif file.endswith(tuple(extensions)):c_path = os.path.join(root, file)file_name = file.split('.')[0]# o_path = root + '/' + file_name + '.o'o_path = os.path.join(root, file_name + '.o')# so_path = root + '/' + file_name + '.cpython-311-x86_64-linux-gnu.so'so_path = os.path.join(root, file_name + '.cpython-311-x86_64-linux-gnu.so')logger.info(f'c_path - > {c_path}')logger.info(f'o_path - > {o_path}')logger.info(f'so_path - > {so_path}')future = executor.submit(compile_file_to_so, c_path, o_path, so_path)futures.append(future)ans += 1logger.info(f'complied count -----> {ans}')# 等待所有任务完成wait(futures, return_when=ALL_COMPLETED)logger.info(f"已编译文件数量：{ans}")def compile_file_to_so(c_path, o_path, so_path):os.system(f"gcc -pthread -Wsign-compare -DNDEBUG -g -fwrapv -O3 -Wall -fPIC -I/usr/local/include/python3.11 -c {c_path} -o {o_path}")os.system(f"gcc -pthread -shared {o_path} -o {so_path}")logger.info(f'File success compiled to - > {so_path}')def main():exclude_folders = ['tests', '.git', '.idea', '__pycache__', 'a-deploy', 'deploy']exclude_file_list = ['app.py', 'app.c']logger.info(f'项目编译打包开始，源码文件路劲：{BASE_DIR}\n')# try:# # 单个文件编译或多个文件# # file_list = ['/opt/pkg/project/dev/service/sessionService/service_impl/nw_session_history.py']## # 1.编译打包# file_list = get_py_files(BASE_DIR, exclude_folders, exclude_file_list)# compile_pkg(file_list)# ...# except Exception as e:# logger.info(f'Exception:{e}')source_dir = BASE_DIRtarget_dir = os.path.join(BASE_DIR, 'deploy', 'dist')# 清除['.c']文件extensions = ['.c']logger.info(f'开始清除项目中含有{extensions}结尾的文件 [target_dir]:{target_dir}\n')delete_specific_files(target_dir, extensions, exclude_file_list)logger.info(f'结束清除项目中含有{extensions}结尾的文件 [target_dir]:{target_dir}\n')# 2.复制编译好的文件logger.info(f'复制拷贝项目开始 [source_dir]:{source_dir} -> [target_dir]:{target_dir}\n')copy_compiled_files(source_dir, target_dir, exclude_folders, ['app.c'])logger.info(f'复制拷贝项目结束 [source_dir]:{source_dir} -> [target_dir]:{target_dir}\n')# # 3.删除py文件# extensions = ['.py']# logger.info(f'开始删除拷贝项目中含有{extensions}结尾的文件 [target_dir]:{target_dir}\n')# delete_specific_files(target_dir, extensions, exclude_file_list)# logger.info(f'结束删除拷贝项目中含有{extensions}结尾的文件 [target_dir]:{target_dir}\n')# 4.编译项目['.c']文件 -> ['.so', 'pyd']compile_extensions = ['.c']logger.info(f"开始编译项目{compile_extensions}文件 -> ['.so', 'pyd']\n")compile_c_files(target_dir, compile_extensions, exclude_folders, exclude_file_list)logger.info(f"结束编译项目{compile_extensions}文件 -> ['.so', 'pyd']\n")logger.info(f'项目编译处理完成，源码文件路劲：{source_dir}\n')logger.info(f'项目编译处理完成，编译打包文件路劲：{target_dir}\n')if __name__ == '__main__':main()3.清理编译后的项目文件
创建clean_compile_file.py文件
# -*- coding: utf-8 -*-
import loggingimport osfrom concurrent.futures import ThreadPoolExecutorexecutor = ThreadPoolExecutor(max_workers=50)# ============================== 配置日志 ===============================
# 定义日志文件的名称
log_filename = 'setup_compile_file.log'# 创建一个日志记录器
logger = logging.getLogger()
logger.setLevel(logging.INFO) # 设置日志级别为 INFO# 创建一个文件处理器，并设置级别为 INFO
file_handler = logging.FileHandler(log_filename, encoding='utf-8') # 指定编码为 utf-8
file_handler.setLevel(logging.INFO)# 创建一个流处理器（控制台输出），并设置级别为 INFO
stream_handler = logging.StreamHandler()
stream_handler.setLevel(logging.INFO)# 创建日志格式
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
file_handler.setFormatter(formatter)
stream_handler.setFormatter(formatter)# 将处理器添加到日志记录器
logger.addHandler(file_handler)
logger.addHandler(stream_handler)
# ============================== 配置日志 ===============================# BASE_DIR = os.getcwd()
BASE_DIR = os.path.dirname(os.path.dirname(os.path.abspath(__file__))) # 设置 BASE_DIR
logger.info(f"BASE_DIR -> {BASE_DIR}\n")def delete_specific_files(folder, extensions, exclude_file_list):"""在指定文件夹中删除所有以extensions中指定的扩展名结尾的文件。:param folder: 文件夹路径:param extensions: 要删除的文件扩展名列表"""# 遍历文件夹logger.info(f"")ans = 0for root, dirs, files in os.walk(folder):for file in files:if file in exclude_file_list:logger.info(f"不删除文件：[{file}] 在 exclude_file_list：{exclude_file_list} 中！")continueif file.endswith(tuple(extensions)):os.remove(os.path.join(root, file))logger.info(f"已删除含有 {extensions} 的文件: {os.path.join(root, file)}")ans += 1logger.info(f"已删除以{extensions}结尾的文件数量：{ans}")def main():exclude_folders = ['tests', '.git', '.idea', '__pycache__', 'a-deploy', 'deploy']exclude_file_list = ['app.py', 'app.c']logger.info(f'========= 项目编译文件清理完成开始 ========\n')target_dir = os.path.join(BASE_DIR, 'deploy', 'dist')# 删除py文件extensions = ['.py', '.o', '.pyd', '.c']logger.info(f'开始删除拷贝项目中含有{extensions}结尾的文件 [target_dir]:{target_dir}\n')delete_specific_files(target_dir, extensions, exclude_file_list)logger.info(f'结束删除拷贝项目中含有{extensions}结尾的文件 [target_dir]:{target_dir}\n')# # 删除源码下的['.so', 'pyd', '.c']文件# src_extensions = ['.so', 'pyd', '.c']# logger.info(f"开始删除源码下的{src_extensions}文件\n")# delete_specific_files(source_dir, src_extensions)# logger.info(f"结束删除源码下的{src_extensions}文件\n")logger.info(f'========= 项目编译文件清理完成！=========\n')if __name__ == '__main__':main()其他操作
清理源代码下的.c文件（可选）
clean_code_c_file.py
# -*- coding: utf-8 -*-
import loggingimport osfrom concurrent.futures import ThreadPoolExecutorexecutor = ThreadPoolExecutor(max_workers=50)# ============================== 配置日志 ===============================
# 定义日志文件的名称
log_filename = 'setup_compile_file.log'# 创建一个日志记录器
logger = logging.getLogger()
logger.setLevel(logging.INFO) # 设置日志级别为 INFO# 创建一个文件处理器，并设置级别为 INFO
file_handler = logging.FileHandler(log_filename, encoding='utf-8') # 指定编码为 utf-8
file_handler.setLevel(logging.INFO)# 创建一个流处理器（控制台输出），并设置级别为 INFO
stream_handler = logging.StreamHandler()
stream_handler.setLevel(logging.INFO)# 创建日志格式
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
file_handler.setFormatter(formatter)
stream_handler.setFormatter(formatter)# 将处理器添加到日志记录器
logger.addHandler(file_handler)
logger.addHandler(stream_handler)
# ============================== 配置日志 ===============================# BASE_DIR = os.getcwd()
BASE_DIR = os.path.dirname(os.path.dirname(os.path.abspath(__file__))) # 设置 BASE_DIR
logger.info(f"BASE_DIR -> {BASE_DIR}\n")def delete_specific_files(folder, extensions, exclude_file_list):"""在指定文件夹中删除所有以extensions中指定的扩展名结尾的文件。:param folder: 文件夹路径:param extensions: 要删除的文件扩展名列表"""# 遍历文件夹logger.info(f"")ans = 0for root, dirs, files in os.walk(folder):for file in files:if file in exclude_file_list:logger.info(f"不删除文件：[{file}] 在 exclude_file_list：{exclude_file_list} 中！")continueif file.endswith(tuple(extensions)):os.remove(os.path.join(root, file))logger.info(f"已删除含有 {extensions} 的文件: {os.path.join(root, file)}")ans += 1logger.info(f"已删除以{extensions}结尾的文件数量：{ans}")def main():exclude_folders = ['tests', '.git', '.idea', '__pycache__', 'a-deploy', 'deploy']exclude_file_list = ['app.py', 'app.c']logger.info(f'========= 项目编译文件清理完成开始 ========\n')source_dir = BASE_DIR# 删除源码下的['.so', 'pyd', '.c']文件src_extensions = ['.c']logger.info(f"开始删除源码下的{src_extensions}文件\n")delete_specific_files(source_dir, src_extensions, exclude_file_list)logger.info(f"结束删除源码下的{src_extensions}文件\n")logger.info(f'========= 项目源码文件清理完成！=========\n')if __name__ == '__main__':main()shell脚本
start_setup.sh
#!/bin/bashecho "开始执行 setup_cmd.py ..."
python3 setup_cmd.py
echo "setup_cmd.py 执行完成！"echo "开始执行 setup_compile_file.py ..."
python3 setup_compile_file.py
if [ $? -eq 0 ]; thenecho "setup_compile_file.py 中的所有任务执行成功完成！"
elseecho "setup_compile_file.py 执行失败或任务未完成，请检查错误。"exit 1
fi# 等待 setup_compile_file.py 中的所有线程完成后，执行 clean_compile_file.py
echo "开始执行 clean_compile_file.py ..."
python3 clean_compile_file.py
if [ $? -eq 0 ]; thenecho "clean_compile_file.py 执行成功！"
elseecho "clean_compile_file.py 执行失败，请检查错误。"exit 1
fiecho "所有脚本执行完毕。"Cython只是帮助我们将Python代码（或Python风格的代码）转换成了C代码，然后编译成了二进制形式。这个过程并不是传统意义上的“编译Python代码为机器码执行”，而是利用了C的编译效率和Python的易用性之间的平衡。
本文介绍到此结束，希望对你有所帮助！