开源爬虫框架Scrapy

听说Scrapy其实有一段时间了,但只到最近才开始尝试,因为要熟悉整个工具链 (Linux/Python/Vim/Redis…)。

这个框架的特点是结构很清晰。下图为官方文档的架构图,准确的描述了Scrapy内部各组件及数据流。

Scrapy Architecture

Scrapy提供了一个Engine,它的作用是[……]

阅读全文

Python中的字符编码与解码

“Most programmers think of strings as series of characters used to represent textual data”—— Learning Python.

如果仅是在终端上Run代码呈现文本,确实不需要考虑编码问题,但现实是文本数[……]

阅读全文

时间

“Ticking away the moments that make up a dull day”—— Pink Floyd

这一年来,最深切的感受就是时间不够用,排除掉对时间不合理的规划,最大的问题可能是因为注意力容易分散。好在,现在能分我神的东西越来越少,离变成一个Nerd越发近了。[……]

阅读全文