一、技术架构体系

二、核心功能模块

1. 扒站任务中枢

   bash复制# wget核心参数示例wget \--recursive \--no-parent \--convert-links \--page-requisites \--adjust-extension \--limit-rate=1m \-P /downloads

   扒站模式	参数组合	适用场景
   全站抓取	-r -np -k	完整镜像克隆
   增量更新	-N -c	更新已有资源
   深度控制	-l 5	限制爬取层级

2. 任务状态机制

   mermaid复制graph LR    A[用户提交URL] --> B{队列检测}    B -->|队列空闲| C[立即执行]    B -->|队列繁忙| D[排队等待]    C --> E[wget进程启动]    E --> F{执行完成}    F -->|成功| G[邮件/页面通知]    F -->|失败| H[错误日志记录]

三、部署实施指南

1. 三步快速启动

   bash复制# 1. 安装系统依赖sudo apt install wget redis-server python3-pip# 2. 启动Redis服务systemctl start redis# 3. 运行Flask应用gunicorn -w 4 -b 0.0.0.0:5000 app:app

2. 任务监控指标

   监控项	检测命令	健康标准
   队列积压	redis-cli LLEN task_queue	≤20个任务
   内存占用	ps -o rss= -p $(pgrep wget)	≤500MB/进程
   网络流量	iftop -i eth0	≤10Mbps带宽
   磁盘空间	df -h /downloads	≥20%剩余

四、异常处理说明