2007年March月 发布的文章

Bot 凶猛

今天无聊看了一下 httpd 的 log, 发现这个地方真是 Bot 的乐园,一眼看去无数行 log 里面一个正常访问的用户都没有,有名的无名的 Bot 哗啦哗啦抓得不亦乐乎。还好我的带宽不要钱,要是虚拟主机用户岂不是要哭死。

简单统计了一下 User-Agent:

cut -d ” ” -f 12- access.log | sort | uniq -c | sort -k 1 -n -r > /tmp/uastat.log

结果见附件。

肉眼观察了一下,大概有如下这些 Bot,按照出现频率排序。

“Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)” // 毫无疑问,yahoo china 的是抓的最狠的。
“Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)”
“Baiduspider+(+http://www.baidu.com/search/spider.htm)” // google 和 baidu 这俩其实不分上下,今天 g 抓的狠,明天 b 抓的狠
“Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)” // 美国和中国 yahoo 的 spider 明显是分开的。
“Mozilla/4.0 (compatible; MSIE 6.0)” // 这个肯定是什么玩意伪装的, 真正 IE 没有这么沉默,要加很多系统版本号之类。
“msnbot/1.0 (+http://search.msn.com/msnbot.htm)”
“lanshanbot/1.0” // 这是什么?
“Anothr spider(http://www.anothr.com; RServer 0.5)” // 这个貌似是新冒出来的,以前没有见过。
“lilina 0.9 (+http://lilina.sf.net/)” // 谁家装的这个东东来抓我?
“Bloglines/3.1 (http://www.bloglines.com; 1 subscriber)”
“Feedfetcher-Google; (+http://www.google.com/feedfetcher.html)” // Google 他们家的 Bot 也分好几种
“Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; QihooBot 1.0 qihoobot@qihoo.net)” // qihoo 也来凑热闹了,以前没有见过
“iaskspider/2.0(+http://iask.com/help/help_index.html)” // 这东西是死灰复燃了么?感觉跟快没了似的。。
“Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/; )” // yodao 貌似 bot 改过很多次名字了。
“CafeRssCatch1.0” // 这个是啥?
“Mozilla/5.0 (compatible;YodaoBot-ZZZ/0.2;http://www.yodao.com/help/webmaster/spider/;zzzyzzz@gmail.com)/0.2 http://www.yodao.com/help/webmaster/spider/; zzzyzzz@gmail.com)” // 不能不说 yodao 这个 Bot 描述写的太次了,描述就是简要描述,不是给你在里面写小说用的,要不要把手机号也写里面给大伙看看?
“MagpieRSS/0.72 (+http://magpierss.sf.net) (Tiny Tiny RSS/1.2.5)”
“curl/7.15.1 (i386-redhat-linux-gnu) libcurl/7.15.1 OpenSSL/0.9.8a zlib/1.2.3 libidn/0.6.2” // 经典且传统
“Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.2.1; Rojo 1.0; http://www.rojo.com/corporate/help/agg/; Aggregating on behalf of 3 subscriber(s) online at http://www.rojo.com/?feed-id=2586324) Gecko/20021130” // 原来除了 yodao 那个,还有更恶心的描述,ft
“NewsGatorOnline/2.0 (http://www.newsgator.com; 2 subscribers)”
“InetURL:/1.0” // 超赞,这是哪个控件的默认 UA ?
“Zhuaxia.com 9 Subscribers”
“Berrylines-rssbot (Berrylines-rssbot 0.1; 1 users)”
“FeedOnFeeds/0.1.8 (+http://minutillo.com/steve/feedonfeeds/)”
“Liferea/1.2.7 (Linux; zh_CN.UTF-8; http://liferea.sf.net/)” // 懒得看这个是客户端还是 Bot 了,先当 bot 算
“sogou spider”
“sogou js robot” // 有人喋喋不休就有人惜墨如金,加个描述网页的 URL 会被罚款吗?还是怕人找上门来算帐?
“Mozilla/3.0 (compatible; Indy Library)” // Delphi/BCB !
“iearthworm/1.0, iearthworm@yahoo.com.cn” // 又是一个小本经营的啊。没有网页给大家看就放个邮箱。不过这名字听起来有点危险 — worm,,
“TrackBack/1.02” // 我没有名字,就叫我路人甲好了。。
“Wget/1.9.1” // wget 明显不行了啊,比 curl 少那么多。。
“larbin_2.6.3 (larbin2.6.3@unspecified.mail)” // 连默认配置都不改一下的一定是个懒人。。
“User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)” // 还有程序写错了的,自己有没有抓包看看啊。。
“P.Arthur 1.1” // 久仰久仰,不过你到底是啥?
“Mozilla/4.0 (compatible; NaverBot/1.0; http://help.naver.com/delete_main.asp)” // 哇,韩国搜索引擎也对我这中文blog感兴趣么?
“IRLbot/3.0 (compatible; MSIE 6.0; http://irl.cs.tamu.edu/crawler)”
“daye” // 你才大爷,你们全家都大爷,来抓还不说自己是谁。
“libwww-perl/5.79”
“findlinks/1.1.3-beta9 (+http://wortschatz.uni-leipzig.de/findlinks/)”
“CFNetwork/129.20”

uastatlog.txt

NDS/NDSL 上屏粘屏(吸屏)问题

最近入手了 NDSL,拿回来发现上屏中间有粘屏现象,Google 和 baidu 都找不到什么好的解决办法,只好在水木上面发文问了一下。大家都说 NDSL 粘屏现象基本是贴膜没有贴好造成的,贴的时候膜有应力,于是就往一边弯,从而造成粘屏。解决办法很简单,我用大头针把膜挑起来一半,然后慢慢落下,让膜自己重新粘上,马上就不粘屏了。在这里做个记录,方便其他人。

Update: 今天才知道这个比较多的叫法是吸屏而不是粘屏,我说怎么搜索半天啥解决办法都没有呢。。

Fterm 和 Windows Vista

随着 Windows Vista 逐渐开始流行起来,报告 fterm 不能在 Vista 上面运行的人也越来越多。我自己是从来没有遇到这样的现象。今天用了不少时间,还是没有能够在 Vista 上面复现。之后我抽样调查了一些报告 bug 的人,发现他们无一例外的用的都是旧版本的 fterm ,很大一部分还是很老的 2004.7 毕业离校纪念版本。这个版本确实在 Vista 下面有些问题。

因此结论就是, Fterm 最新版本在 Windows Vista 下面可以正常运行,请使用旧版本 Fterm 的兄弟更换到最新版本。如果还是不能用,请向我报告 bug。谢谢

附: Fterm 最新版本 2.5.0.150 下载地址:

教育网下载
公网和海外下载

最近评论

时光机

其他