本篇内容介绍微信公众号文章服务端数据爬取的实现,配合上一篇微信公众号爬虫:微信公众号浏览自动化,构成完整的微信公众号文章数据采集系统。
一、AnyProxy 配置(Mac)
AnyProxy是一个开放式的HTTP代理服务器,官方文档:http://anyproxy.io/cn/
Github主页:https://github.com/alibaba/anyproxy
主要特性包括:
基于Node.js,开放二次开发能力,允许自定义请求处理逻辑
支持Https的解析
提供GUI界面,用以观察请求
1、安装NodeJS
在安装Anyproxy之前,需要先安装Nodejs。Nodejs下载地址:http://nodej[……]