当前位置： 首页 > news >正文

【Python爬虫实战】从文件到数据库：全面掌握Python爬虫数据存储技巧

news 2024/10/22 11:21:29

  🌈个人主页：https://blog.csdn.net/2401_86688088?type=blog
🔥 系列专栏：https://blog.csdn.net/2401_86688088/category_12797772.html

目录

前言

一、文本文件数据存储的基础

二、如何将爬取的数据存储为.txt文件

三、如何将数据存储为.csv文件

四、如何将数据存储为.json文件

五、如何选择合适的存储格式

六、MySQL存储

（一）环境准备

（二）连接MySQL数据库

（三）创建数据库和表

（四）插入数据到MySQL

（五）查询数据

（六）更新和删除数据

（七）断开连接

（八）MySQL存储总结

七、MongoDB存储

（一）安装MongoDB和Python库

（二）连接MongoDB数据库

（三）创建集合

（四）插入数据

（五）查询数据

（六）更新数据

（七）删除数据

（八）断开连接

（九）MongoDB存储总结

八、总结

前言

在数据驱动的时代，爬虫技术已经成为获取和收集网络数据的重要工具。然而，仅仅获取数据还不够，如何高效、合理地存储这些数据，才能让其真正发挥价值。Python提供了多种数据存储方式，包括简单的文本文件（如.txt、.csv、.json），以及高级数据库（如MySQL和MongoDB）。本篇文章将深入剖析如何将爬取的数据灵活存储于不同格式和数据库中，帮助你选择最适合自己项目的存储方式。

本文将通过详细的代码示例，逐步讲解如何将数据存储在不同格式的文件中，以及如何将数据存入MySQL和MongoDB数据库中，以满足不同类型爬虫项目的需求。无论你是初学者还是开发者，相信你都会从本文中找到适合你的解决方案。

一、文本文件数据存储的基础

Python中常见的文本文件格式包括：

  • .txt：纯文本文件，适合存储不需要特定格式的内容。

  • .csv：逗号分隔文件，适合存储表格化数据。

  • .json：JavaScript Object Notation格式，适合存储结构化数据（如字典、列表）。

二、如何将爬取的数据存储为.txt文件

示例：

# 保存为 .txt 文件
data = "这是从网站爬取的内容"# 写入文本文件
with open("data.txt", "w", encoding="utf-8") as f:f.write(data)
print("数据已保存到 data.txt")

注意事项：

  1. 编码问题：爬取的中文或其他特殊字符内容需要指定encoding="utf-8"，避免乱码。

  2. 覆盖写入：使用"w"模式会覆盖原有内容，如需追加内容，可以用"a"模式。

三、如何将数据存储为.csv文件

示例：

import csv# 模拟爬取的表格数据
data = [["标题", "链接", "日期"],["Python教程", "https://example.com", "2024-10-19"],["爬虫入门", "https://example2.com", "2024-10-18"]
]# 写入CSV文件
with open("data.csv", "w", newline="", encoding="utf-8") as f:writer = csv.writer(f)writer.writerows(data)
print("数据已保存到 data.csv")

注意事项：

  1. 表格数据格式：csv文件需要结构化数据，如列表或元组。

  2. newline=""：防止在Windows下写入多余的空行。

四、如何将数据存储为.json文件

示例：

import json# 模拟爬取的数据
data = {"标题": "Python爬虫教程","链接": "https://example.com","日期": "2024-10-19"
}# 写入JSON文件
with open("data.json", "w", encoding="utf-8") as f:json.dump(data, f, ensure_ascii=False, indent=4)
print("数据已保存到 data.json")

注意事项：

  1. ensure_ascii=False：避免中文字符在保存时被转义成Unicode编码。

  2. indent=4：使生成的JSON文件格式化，易于阅读。

五、如何选择合适的存储格式

  • .txt文件：适合存储非结构化的文本数据，如文章内容、日志等。

  • .csv文件：适合存储二维表格数据，如新闻标题和日期等。

  • .json文件：适合存储层次化结构数据，如字典列表。

六、MySQL存储

使用MySQL来存储爬取的数据是非常常见且有效的做法，尤其适合管理和查询大量结构化数据。下面，我会详细介绍如何将爬取的数据存入MySQL数据库，包括准备环境、数据库连接、创建表、插入数据等关键步骤。

（一）环境准备

1.安装MySQL

  • Windows / Mac：可以从MySQL官网下载并安装。

  • Linux：使用apt或yum安装，例如：

sudo apt update
sudo apt install mysql-server

2.安装Python的MySQL库

推荐使用mysql-connector-python或pymysql库。安装命令：

pip install mysql-connector-python

或

pip install pymysql

（二）连接MySQL数据库

示例：

import mysql.connector# 连接到MySQL数据库
db = mysql.connector.connect(host="localhost",  # 数据库地址user="your_username",  # 用户名password="your_password",  # 密码database="your_database"  # 数据库名称
)print("连接成功")
cursor = db.cursor()

注意事项：

  1. MySQL服务需要启动。可以通过sudo service mysql start（Linux）或手动启动（Windows）。

  2. 检查用户权限，确保该用户有权限操作对应的数据库。

（三）创建数据库和表

创建数据库：

cursor.execute("CREATE DATABASE IF NOT EXISTS your_database")
print("数据库创建成功")

创建表结构：

# 创建一个用于存储爬取数据的表
cursor.execute("""CREATE TABLE IF NOT EXISTS web_data (id INT AUTO_INCREMENT PRIMARY KEY,title VARCHAR(255),url VARCHAR(255),date DATE)
""")
print("表创建成功")

（四）插入数据到MySQL

示例：

# 模拟爬取的数据
data = [("Python教程", "https://example.com", "2024-10-19"),("爬虫入门", "https://example2.com", "2024-10-18")
]# 插入数据的SQL语句
insert_query = "INSERT INTO web_data (title, url, date) VALUES (%s, %s, %s)"# 执行批量插入
cursor.executemany(insert_query, data)
db.commit()  # 提交事务
print(f"成功插入{cursor.rowcount}条数据")

注意事项：

  1. 事务提交：通过db.commit()确保数据插入成功。

  2. 批量插入：使用executemany()可以高效插入多条数据。

（五）查询数据

示例：

# 查询所有数据
cursor.execute("SELECT * FROM web_data")
results = cursor.fetchall()# 输出查询结果
for row in results:print(row)

结果：

(1, 'Python教程', 'https://example.com', datetime.date(2024, 10, 19))
(2, '爬虫入门', 'https://example2.com', datetime.date(2024, 10, 18))

（六）更新和删除数据

更新数据：

update_query = "UPDATE web_data SET title = %s WHERE id = %s"
cursor.execute(update_query, ("Python进阶教程", 1))
db.commit()
print("数据更新成功")

删除数据：

delete_query = "DELETE FROM web_data WHERE id = %s"
cursor.execute(delete_query, (2,))
db.commit()
print("数据删除成功")

（七）断开连接

示例：

# 关闭游标和数据库连接
cursor.close()
db.close()
print("数据库连接已关闭")

（八）MySQL存储总结

将爬取的数据存储在MySQL中具有以下优点：

  1. 高效查询：通过SQL语句可以快速查找和过滤数据。

  2. 数据管理：支持更新、删除数据，更适合大规模爬取项目。

  3. 结构化存储：非常适合存储结构化的数据，如文章标题和链接。

七、MongoDB存储

使用 MongoDB 存储爬取数据是非常合适的选择，尤其是当数据结构复杂或需要灵活存储时。MongoDB是一个 NoSQL 数据库，适合存储 JSON 格式的文档数据。接下来，我会详细介绍如何将爬取的数据存储在 MongoDB 中，包括安装、连接、存储、查询等操作。

（一）安装MongoDB和Python库

1.安装MongoDB

  • Windows / Mac：从 MongoDB官网 下载并安装。

  • Linux：使用以下命令安装：

sudo apt update
sudo apt install -y mongodb
sudo systemctl start mongodb  # 启动MongoDB服务

2.安装Python库pymongo

MongoDB的Python客户端为pymongo。你可以通过以下命令安装：

pip install pymongo

（二）连接MongoDB数据库

示例：

from pymongo import MongoClient# 连接到MongoDB服务
client = MongoClient("mongodb://localhost:27017/")# 选择数据库（如果不存在会自动创建）
db = client["web_scraping"]print("连接成功")

（三）创建集合

在MongoDB中，数据存储在集合中，类似于关系型数据库中的表。集合会在插入数据时自动创建。

# 创建或选择集合（类似于SQL中的表）
collection = db["web_data"]

（四）插入数据

MongoDB的文档格式与JSON相同，非常适合存储嵌套数据结构。

1.插入单条数据

data = {"title": "Python爬虫教程","url": "https://example.com","date": "2024-10-19"
}# 插入数据
collection.insert_one(data)
print("单条数据插入成功")

2.插入多条数据

data_list = [{"title": "Python入门", "url": "https://example1.com", "date": "2024-10-18"},{"title": "高级爬虫", "url": "https://example2.com", "date": "2024-10-17"}
]# 批量插入数据
collection.insert_many(data_list)
print("多条数据插入成功")

（五）查询数据

1.查询所有数据

# 查询集合中的所有数据
results = collection.find()# 输出查询结果
for result in results:print(result)

结果：

{'_id': ObjectId('...'), 'title': 'Python入门', 'url': 'https://example1.com', 'date': '2024-10-18'}
{'_id': ObjectId('...'), 'title': '高级爬虫', 'url': 'https://example2.com', 'date': '2024-10-17'}

2.条件查询

# 查询特定条件的数据
result = collection.find_one({"title": "Python入门"})
print(result)

（六）更新数据

示例：

# 更新特定文档的数据
collection.update_one({"title": "Python入门"},  # 查询条件{"$set": {"title": "Python入门教程"}}  # 更新内容
)
print("数据更新成功")

（七）删除数据

示例：

# 删除单条数据
collection.delete_one({"title": "高级爬虫"})
print("单条数据删除成功")# 删除多条数据
collection.delete_many({"date": {"$lt": "2024-10-18"}})
print("多条数据删除成功")

（八）断开连接

# 关闭数据库连接
client.close()
print("数据库连接已关闭")

（九）MongoDB存储总结

使用MongoDB存储爬取数据的优点：

  1. 灵活的数据结构：无需预定义表结构，适合存储复杂的嵌套数据。

  2. 高效的读写性能：支持大规模数据的高效存储和查询。

  3. JSON格式支持：爬取的数据通常以JSON格式存储，直接适配MongoDB。

八、总结

数据存储的方式和格式对于爬虫项目的效率和效果至关重要。本篇文章系统地介绍了Python爬虫数据的存储方式，涵盖了从基础的TXT、CSV和JSON格式到高级的MySQL和MongoDB数据库。

  • 简单数据存储：
    使用TXT文件存储纯文本内容，适合日志或简单记录。CSV文件非常适合存储表格数据，方便后续数据分析和展示。而JSON格式更适合存储复杂、嵌套的结构化数据。

  • 高级数据存储：
    对于需要频繁查询和更新的数据，MySQL提供了稳定的关系型存储支持。而MongoDB由于其灵活的JSON格式支持，非常适合处理非结构化数据，尤其是在数据结构不固定的情况下。

通过这些不同存储方式的掌握，你可以根据项目需求选择合适的存储方案，为数据处理和分析奠定坚实基础。希望这篇文章能够帮助你在数据存储方面更上一层楼，为你的爬虫项目注入新活力。


http://www.mrgr.cn/news/54134.html

相关文章：

  • 【算法题】数组中只出现一次的两个数字
  • MYSQL的SQL优化
  • 区块链技术原理
  • leetcode中常用的enumerate用法和常用场景
  • C语言小游戏--猜数字
  • 深入探索 APKTool：Android 应用的反编译与重打包工具
  • 重学SpringBoot3-Spring WebFlux简介
  • JUC并发编程进阶2：CompletableFuture
  • 光盘刻录大文件时分卷操作
  • 2-127基于matlab的非圆齿轮啮合动画设计
  • 怎么开发一款app软件
  • synchronized 锁字符串：常见坑点与解决策略
  • python-代码技巧
  • Redis可视化软件安装
  • Leecode刷题之路第25天之K个一组翻转链表
  • CSS 设置网页的背景图片
  • StarTowerChain：开启去中心化创新篇章
  • taro底部导航，Tabbar
  • 电能表预付费系统-标准传输规范(STS)（13）
  • 【str_replace替换导致的绕过】
  • 解决因内存过小芯片使用malloc造成内存碎片使程序偶发性卡死问题
  • mysql 10 单表访问方法
  • Java 数据基本类型详解（各基本数据类型及其大小、数据类型转换、数据溢出问题、自动装箱与拆箱的影响）
  • 架构师之路-学渣到学霸历程-23
  • 理解C#中空值条件运算符及空值检查简化
  • 十五、Python基础语法（list（列表）-上）