寻求报道
发布融资消息
寻求融资
数据逐渐成为企业的一项重要资产，能够产生无穷的商业价值。
将“不能被爬取的网站”明码的列在了robots.txt中，这无异于是在挑衅、引起某些爬虫“得不到的永远在骚动”的强烈探知欲望。
爬虫市场看似不大，但却是后续服务的基础。
