PySpider



python爬虫,可在2.X及3.X版本的python中使用。本文环境基于CentOS 7.2。

安装方式如下:

1,更新及安装依赖组件

yum update -y

yum install wget -y

yum -y install epel-release -y

yum install gcc gcc-c++ -y

yum install python-pip python-devel python-distribute libxml2 libxml2-devel python-lxml libxslt libxslt-devel openssl openssl-devel -y

pip install –upgrade pip

2,pip在线安装pyspider

pip install pyspider

3,源码安装,需进入pyspider目录

python setup.py install

4,运行,命令如下,程序会在5000端口提供web页面,作为程序的控制页面。

pyspider &

另外,程序需要组件phantomjs,后面再说。

源码包地址 https://static.danteng.org/pyspider.tar.gz

git地址 https://github.com/binux/pyspider

本文链接地址: PySpider

打赏作者
赞助/Donate

您的支持将鼓励我们继续创作!

[微信] 扫描二维码打赏

正在跳转到PayPal...

发表评论

电子邮件地址不会被公开。 必填项已用*标注

ERROR: si-captcha.php plugin: GD image support not detected in PHP!

Contact your web host and ask them to enable GD image support for PHP.

ERROR: si-captcha.php plugin: imagepng function not detected in PHP!

Contact your web host and ask them to enable imagepng for PHP.