使用 golang 来创建一个爬虫获取 <reddit.com> 图片。

比如 r/wallpaper,通过解析官方API http://www.reddit.com/r/wallpaper.json?limit=22&after=xxxxx 返回的 JSON 数据来分析和下载文件。

主要使用库

• github.com/urfave/cli/v2 用来创建命令行。
• github.com/gocolly/colly 是golang爬虫框架, 用来获取数据。
• github.com/buger/jsonparser 来解析 reddit 的json数据。

下面以一步步创建爬虫, 创建命令，数据检索，并发处理下载。

graph TD
    A[命令行入口] --参数--> B(获取数据) 
    B --> B1(数据处理) 
    B1 --> C{limit}
    C --计数器+1--> B 
    C --等待下载完成-->  E(结束)
    B1 --计数器+1--> D(下载)

Goridge 是一个高性能的 PHP-to-Golang 编解码器库，可以在本地 PHP sockets 和Golang net/rpc 包上工作。该库允许从 PHP 调用 Go 服务方法，支持结构，和字节处理。