MENU

#源码#自动采集图片并在网站上展示

January 2, 2020 • Read: 752 • 网站源码

大部分目前完成自动采集图片到网站上传用的是Wordpress火车头采集,而今天这套源码用的却是Python,简洁明了的给搭建看一下演示站点:ziyou.site

搭建环境

这里我们采用最简单的宝塔安装。

  • 服务器使用centos7 x 64
  • 内存2G

开始

首先你需要安装宝塔,宝塔的安装教程这里我就不叙述了,直接贴上Centos7的安装

yum install -y wget && wget -O install.sh http://download.bt.cn/install/install_6.0.sh && sh install.sh

安装好宝塔后我们需要安装如下东西。

  1. Nginx
  2. Mysql 5.7 (如果内存不足2G可以在宝塔的linux工具箱中添加swap内存)
  3. PHP与PHPmyadmin(这里安装php的目的只是方便你管理数据库操作)
  4. Python3

Python3环境的安装

yum install epel-release -y
yum install https://centos7.iuscommunity.org/ius-release.rpm -y
yum install python36u -y
ln -s /usr/bin/python3.6 /usr/bin/python3 #python3连接符
yum install python36u-pip -y
ln -s /usr/bin/pip3.6 /usr/bin/pip3 #创建pip3链接符
yum install python36u-devel

克隆源码

环境搭建好后,你需要创建一个数据库,至于名字跟密码 你自己记得就行啦。

git clone https://github.com/zhsso/94imm.git  #克隆源码
chmod 777 -R 94imm #增加权限
cd 94imm #进入目录

注意 以上操作全部在你的/root目录当中进行,如果你想去其他目录操作,自行修改uwsgi.ini。

修改94imm/silumz目录下的settings.py

DATABASES = {
 
‘default’: {
 
‘ENGINE’: ‘django.db.backends.mysql’,
 
‘NAME’: ‘数据库名’,
 
‘USER’: ‘数据库用户名’,
 
‘PASSWORD’: ‘数据库密码’,
 
‘HOST’: ‘127.0.0.1’,
 
‘PORT’: ‘3306’,
 
    }
 
}

导入数据库

在94imm目录下有个sql文件,导入进你创建的数据库中。

修改nginx配置

在我本人测试的过程中,我发现修改nginx配置反而会导致伪静态不行,所以我们这里直接使用宝塔面板中的反向代理。

找到网站-》点击域名-〉找到反向代理

添加反向代理。

名字随意, 发送域名 http://127.0.0.1:8000

运行网站

进入到94imm目录中 执行

uwsgi --ini uwsgi.ini

爬虫

爬虫位于crawler目录下,每一个文件都是独立的,可单独执行。

爬虫主要修改对应的数据库名、数据库用户名及密码。

建议第一次运行时修改爬虫参数为采集全站,运行完修改参数为采集第一页,然后在linux中添加定时任务。实现自动采集,

python3 crawle_mzt.py

当然其中爬虫中也要填写数据库。

模板

在94imm/templates目录下分别有3个模版,将模版下的pagination.html放入到python的安装目录下

/usr/lib/python3.6/site-packages/dj_pagination/templates/pagination

如不存在此目录 自行创建。

Archives QR Code Tip
QR Code for this page
Tipping QR Code