禁止YisouSpider访问站点

下午偶然发现有IP来访异常,如下图, 前面6个IP都被封过了:

yisou_spider

经查询,前面几个IP是阿里云的。

在apache的日志中查看对应IP的记录,发现user-agent是YisouSpider,属于阿里一个叫“一搜”的产品。

它是做电影搜索的,但我的网站: http://www.fachun.net只提供音乐内容。

这些爬虫的访问不会给我带来任何好处,还占用系统资源和带宽。可以禁止它抓取页面。

在robots.txt中编辑:

User-agent: YisouSpider   
Disallow: /

然后到urls.py中添加对应的url:

url(r'^robots.txt$', TemplateView.as_view(template_name="robots.txt",
content_type='text/plain; charset=UTF-8')),

重启apache即可。 http://www.fachun.net/robots.txt

实际上,更加自律的爬虫,一般都是晚上服务器空闲的时候,才会来大量抓取内容。

一搜的爬虫似乎应该更加自律一点。

各家网盘在国外VPS上的性能对比

最近几天我在向自己的网盘上传几百GB的文件,用作分享。

自己在杭州的住处使用12M ADSL,下行速率可以达到1.5M/s,但上传速率仅仅200kb/s左右。

传了两三天,发现实在受不了,于是买了个廉价的美国VPS用作上传。

简单对比各家网盘:

360云盘 百度网盘 DropBox 华为网盘 腾讯微云
容量 36 TB 2 TB >50 GB 大约30 GB 10TB
上传 

速率

150 kb/s 100 kb/s > 2M/s 250 kb/s 100kb/s以下
离线 

下载

http(最大并发10任务) http/bt
外链 

分享

方便 较方便 方便 不太方便 较方便
优点 容量大、编程获取链接方便 下载快、BT离线下载、 

秒传、容量大

上传快,分享方便 中庸
缺点 上传慢、下载速度一般 上传慢 容量非常小、收费高

总结一下:

1. 印象很深的是,我位于洛杉矶机房的VPS,dropBox上载速率超过2M/s,其他网盘远不可及

2. 如果是http资源离线下载,360网盘的效率高于百度网盘,目测5倍左右。 当然,我下载的资源是别人没有下过的

3. 国内这些网盘把自己的容量吹嘘得很大,实际上都对上传速率做了限制的

想想看,上传200GB的文件就要传半个月才能传完!那他给你10个TB有什么用?

也只能是存一些像电影的大文件罢了,

像这种热门资源,云端是不需要为每个人都分别保存一份的,只是一个指向对应资源的链接。

仅此而已。

利用Redirector插件去掉Google跳转和免费收听豆瓣FM Pro

本文描述的方法已失效

本文描述的方法是在通过Chrome插件实现的,因此,如果你已经安装了Chrome浏览器,请继续浏览下面的内容。

Redirector插件

这是一个用于URL Redirect和修改HTTP Header的Chrome插件。

安装这个插件

1. 去掉Google搜索结果页面中的跳转链接

安装完插件,我们可以开始添加跳转规则。

一个可行操作的方法是,在浏览器中的地址栏输入: chrome://extensions/

然后选择Redirector插件的”选项“,进入”规则管理器“。

如下图所示:

redirector-settings-manager

继续阅读利用Redirector插件去掉Google跳转和免费收听豆瓣FM Pro

64位系统下使用“西工大的猫”一键代理

暑假期间,每天只有大约2500人在使用“西工大的猫”了。

但开学后,可能仍旧有同学会遇到这个问题:如何在64位windows上使用“西工大的猫”。

1. 下载并安装:  http://www.xigongda.org

2. 若运行时产生一个”StackHash” APPcrash,

可以依次在桌面上右键选择 “计算机” -> “属性” -> “高级系统设置” -> “高级”,

在 “性能” 选项中 “设置”,

选择”数据执行保护” -> “为除下列选定程序之外的所有程序和服务启用 DEP” ,

添加程序文件 NPUcat.exe 即可。

NPUcat.exe位于你安装时选择的目录。例如:

“C:\Program Files\西工大的猫\NPUCat.exe”

一键切换左手鼠标工具

自己的鼠标手太严重了,想到交替使用左右手操作鼠标,可以缓解压力。
于是写了个小工具,一键切换左右手。
程序的功能是切换左右按键,以及替换系统的指针方案。

mouse-switch-tool
下载该程序:  http://pan.baidu.com/share/link?shareid=456517&uk=2047084447     (下载源代码)

继续阅读一键切换左手鼠标工具