NGA论坛数据爬取与存储系统

项目概述

本项目是一个针对NGA游戏论坛的数据爬取系统，能够自动登录论坛、爬取帖子数据，并将数据存储到文件和MySQL数据库中。

主要功能

• ✅ Cookie登录：通过Cookie实现论坛自动登录
• 🌐 多页爬取：支持爬取论坛前50页的帖子数据
• 🧵 多线程处理：采用生产者-消费者模式提高爬取效率
• 💾 数据存储：支持JSON文件存储和MySQL数据库存储
• 🔗 关系型数据：建立帖子(posts)和回复(replies)的关联关系

技术栈

• Python 3.x
• Requests/BeautifulSoup/Selenium (用于网页爬取)
• MySQL/Redis (数据存储)
• 多线程编程 (提高爬取效率)

文件说明

文件名	功能描述
get_cookie.py	获取并保存登录Cookie
get_link.py	爬取论坛帖子链接
get_data.py	爬取帖子详细内容
save_data.py	将数据存储到MySQL数据库
Cookies.json	存储登录Cookie信息
link.txt	存储爬取的帖子链接
./data/post-*.json	存储爬取的帖子数据

数据库设计

Posts表

存储主帖信息，包括：

• 帖子ID
• 标题
• 楼主ID
• 发布时间
• 内容等

Replies表

存储回复信息，包括：

• 回复ID
• 关联的帖子ID
• 回复者ID
• 回复时间
• 回复内容等

使用说明

1. 运行get_cookie.py获取登录Cookie
2. 运行get_link.py爬取帖子链接
3. 运行get_data.py爬取帖子详细内容
4. 运行save_data.py将数据存入数据库

注意事项

• 请遵守论坛的robots.txt协议和爬虫道德规范
• 不要设置过短的爬取间隔，避免对服务器造成负担
• 本项目仅用于学习交流目的

111