Archive for the '网络' Category

squid for windows 虚拟机环境下运行,影响数据传输速度,原因未知

测试环境:squid2.6 2.7 for windows + Windows 2003 virtual machine

经测试Hyper-V和Virtuozzo虚拟环境下安装的Windows 2003均有此问题,VMware未做测试。

具体表现:vps服务器A带宽为10Mbps,通过iis直接下载,测试下载速度在1m/s左右。若使用squid反向代理,无论文件是否已经缓存(HIT),下载速度都在200kb/s以下,原因未知。

相关链接:

http://www.squid-cache.org/mail-archive/squid-users/200907/0340.html

http://www.squid-cache.org/mail-archive/squid-users/200907/0378.html

百度人工干预搜索结果的最好证明

http://www.baidu.com/s?wd=%B4%AB%C6%E6%B9%E9%C0%B4

看第一页和第二页的明显区别。第一页看似没什么异样,翻到第二页基本上全是私服、外挂一类的网站。

http://www.baidu.com/s?wd=%BF%EC%C0%D6%D3%A2%D3%EF

从首页第一位下来后,快乐英语网永远在第二页第二的位置。

让百度显示全部的搜索结果

? 在利用百度进行搜索时大多数朋友应该都遇到过“根据相关法律法规和政策,部分搜索结果未予显示。”这样的提示,

如图:

草泥马普通搜索结果普通索引数量

?
相关链接:?http://www.baidu.com/s?wd=%B2%DD%C4%E0%C2%ED

其实,我们只需给搜索的关键词加上半角的引号”",就可以显示全部的结果,如图:

草泥马完整结果完整的网页数

?

?

?

?

?

?

? 相关链接:http://www.baidu.com/s?wd=%22%B2%DD%C4%E0%C2%ED%22

? 这样的话,绝大部分提示“根据相关法律法规和政策,部分搜索结果未予显示。”的关键词都可以显示全部结果。在相关法律法规和政策的允许下,希望大家都能利用这一窍门找到更多所需的资料。

谷歌的麻烦

? 最近谷歌因为低俗信息被各大媒体和相关管理机构的争先曝光、谴责,其中甚至包括新闻联播。这事在互联网上掀起了不小的波澜,众所周知各搜索引擎在低俗信息方面谁也不能做到100%的拦截,为什么单单谷歌被批判的如此厉害呢?不少网友纷纷指出了自己的观点:

? 其一:竞争对手“陷害”
? 其二:开罪了传媒老大
? 其三:某部门为了推广某软件而让谷歌充当了冤大头
? 第一第二个观点属于大众观点,比较容易让人想到,并且传媒老大完全有能力弄出这么大动作。第三个观点就比较有意思了,该观点来源于文章《谷歌到底惹了谁?》。回顾下谷歌被控诉的新闻片段,好像还真有那么点意思。

腾讯QQ2009正式版与知名反间谍软件spyware doctor冲突

qq-sypware-doctor

如果系统安装了spyware doctor,那么在启动QQ2009时会提示上图所示错误,造成QQ2009无法正常启动。

解决方法:暂停使用spyware doctor。

Spyware Doctor(推荐)是一款在国际上享有声誉的反间谍软件,曾荣获多项大奖。并且入选了谷歌精选软件,个人用户可以免费使用其入门版。官方网站:http://www.pctools.com/cn/spyware-doctor/

QQ2009是腾讯推出的最新IM软件,16日发布正式版面向所有用户。

Squid 常用命令

1,初始化你在 squid.conf 里配置的 cache 目录
#squid/sbin/squid -z
如果有错误提示,请检查你的 cache目录的权限。
2,对你的squid.conf 排错,即验证 squid.conf 的 语法和配置。
#squid/sbin/squid -k parse
如果squid.conf 有语法或配置错误,这里会返回提示你,如果没有返回,恭喜,可以尝试启动squid。
3,在前台启动squid,并输出启动过程。
#squid/sbin/squid -N -d1
如果有到 ready to server reques,恭喜,启动成功。
然后 ctrl + c,停止squid,并以后台运行的方式启动它。
4,启动squid在后台运行。
#squid/sbin/squid -s
这时候可以 ps -A 来查看系统进程,可以看到俩个 squid 进程。
5,停止 squid
#squid/sbin/squid -k shutdown
这个不用解释吧。
6,重引导修改过的 squid.conf
#squid/sbin/squid -k reconfigure
这个估计用的时候比较多,当你发现你的配置有不尽你意的时候,可以随时修改squid.conf,然后别忘记对你的 squid.conf排错,然后再执行此指令,即可让squid重新按照你的 squid.conf 来运行。
注:Windos下运行需要加 -n squid?参数 其中squid为默认服务名。
7,把squid添加到系统启动项
编辑 /etc/rc.d/rc.local
添加如下行:??/usr/local/squid/sbin/squid -s
当然,并不是每个人都喜欢这种启动方式,你可以用你最习惯的方式;或者把它安装为服务。

再来点其他的。
1,修改cache 缓存目录的权限。
#chown -R squid:squid /home/cache
我的cache缓存目录是 /home/cache,squid执行用户和用户组是 squid,squid。
2,修改squid 日志目录的权限
#chown -R squid:squid /usr/local/squid/var/logs
这一步并不是适合每一个使用squid的用户.意为让squid有权限在该目录进行写操作 。
例如生成??access.log? ? cache.log? ?store.log
3,查看你的日志文档。
#more /usr/local/squid/var/logs/access.log | grep TCP_MEM_HIT
该指令可以看到在squid运行过程中,有那些文件被squid缓存到内存中,并返回给访问用户。
#more /usr/local/squid/var/logs/access.log | grep TCP_HIT
该指令可以看到在squid运行过程中,有那些文件被squid缓存到cache目录中,并返回给访问用户。
#more /usr/local/squid/var/logs/access.log | grep TCP_MISS
该指令可以看到在squid运行过程中,有那些文件没有被squid缓存,而是现重原始服务器获取并返回给访问用户。
关于 TCP_XXXX 等参数及代表的信息,请参看《squid中文权威指南》13.2.1 章节。
当然,本例中的蓝色文字是可以修改为其他的参数,例如你的域名??www.xxxx.com ,同样可以看到access.log里关于该域名的行。

二.squid命中率分析

/usr/local/squid/bin/squidclient -p 80 mgr:info
/usr/local/squid/bin/squidclient -p 80 mgr:5min
可以看到详细的性能情况,其中PORT是你的proxy的端口,5min可以是60min

取得squid运行状态信息: squidclient -p 80 mgr:info
*取得squid内存使用情况: squidclient -p 80 mgr:mem
*取得squid已经缓存的列表: squidclient -p 80 mgr:objects??????????????????? . use it carefully,it may crash
*取得squid的磁盘使用情况: squidclient -p 80 mgr:diskd
*强制更新某个url:squidclient -p 80 -m PURGE http://www.xxx.com/xxx.php
*更多的请查看:squidclient-h 或者 squidclient -p 80 mgr:

查命中率:
/usr/local/squid/bin/squidclient -h 111.222.111.111 -p80 mgr:info

/usr/local/squid/bin/squidclient -h具体的IP -p80 mgr:info

(我们一般都会把squid配置成有缓存目录的模式,也就是有配置cache_dir目录,当squid应用运行了一段时间以后,cache_dir对应的swap.state文件就会变得越来越大,里面的无效接口数据越来越多,这可能在一定程度上影响squid的响应时间,此时我们可以使用rotate命令来使squid清理swap.state里面的无效数据,减少swap.state的大小。具体命令格式:
/path/to/squid/sbin/squid -k rotate -f /path/to/squid/conf_file
但是在3.0.7以前的版本都发现一些问题,rotate完以后启动DNSSERVER的时候会提示不能分配内存,从而导致DNSSERVER的辅助进程不能启动,此时一般情况下需要重启squid应用。)

Squid 2.7 conf for Windows

http_port 80 accel vhost vport

#源IP 等
cache_peer 218.1.72.225 parent 80 0 no-query round-robin max-conn=32 originserver name=dl
#需要加速的域名
cache_peer_domain dl dl.example.com  
#acl
acl manager proto cache_object
acl localhost src 127.0.0.1/255.255.255.255
#squid3.0无需此行
acl all src 0.0.0.0/0.0.0.0
acl SSL_ports port 443 563
acl Safe_ports port 80       # http
acl Safe_ports port 8080
acl LanDstDM dstdomain dl.example.com 
acl LanSrc src 192.168.0.0/24
acl LanDst dst 192.168.0.0/24

acl CONNECT method CONNECT
http_access allow manager localhost
http_access allow LanDstDM
http_access allow LanSrc
http_access allow LanDst
http_access deny manager
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access deny all

#base
visible_hostname dl.example.com 

cache_mgr cache@xxx.org
cache_effective_user squid
cache_effective_group squid

error_directory c:/squid/share/errors/Simplify_Chinese
icon_directory c:/squid/share/icons
mime_table c:/squid/etc/mime.conf

cache_replacement_policy lru
#cache_dir
cache_dir ufs c:/squid/var/cache 10000 16 64

cache_mem 64 MB

max_open_disk_fds 0
maximum_object_size 200 MB
maximum_object_size_in_memory 128 KB
#keepalived
client_persistent_connections off
server_persistent_connections on
#persistent_request_timeout 60 seconds

memory_pools on
memory_pools_limit 64 MB

forwarded_for on
log_icp_queries off

via on
httpd_suppress_version_string off

ie_refresh off
tcp_recv_bufsize 32 KB

#acl webservices rep_header Server -i ^Apache ^nginx
#broken_vary_encoding allow webservices

#hidden the squid header
#reply_header_access Server deny all
#reply_header_access X-Cache deny all
#reply_header_access Warning deny all
#reply_header_access Expires deny all
#reply_header_access Cache-Control deny all
#reply_header_access age deny all

#reply_header_access All deny all

ipcache_size 1024
ipcache_low 90
ipcache_high 95

memory_replacement_policy lru

hosts_file /etc/hosts
request_header_max_size 128 KB
#deny cache
hierarchy_stoplist cgi-bin ? \.php
acl QUERY urlpath_regex cgi-bin\? \.php \.css
acl DIRECT url_regex -i ^http:\/\/www\.yourdomain\.org\/$
acl DIRECT url_regex -i ^http:\/\/photo\.yourdomain \.org\/.*$
acl DIRECT url_regex -i ^http:\/\/www\.yourdomain \.org\/index\.html$

cache deny QUERY
cache deny DIRECT
#request_body_max_size 0 KB

refresh_pattern ^ftp: 60 20% 10080
refresh_pattern ^gopher: 60 0% 1440
refresh_pattern -i \.css$ 1440 50% 129600 reload-into-ims
refresh_pattern -i \.xml$ 1440 50% 129600 reload-into-ims
refresh_pattern -i \.html$ 1440 90% 129600 reload-into-ims
refresh_pattern -i \.shtml$ 1440 90% 129600 reload-into-ims
refresh_pattern -i \.htm$ 1440 90% 129600 reload-into-ims
refresh_pattern -i \.jpg$ 1440 90% 129600 reload-into-ims
refresh_pattern -i \.png$ 1440 90% 129600 reload-into-ims
refresh_pattern -i \.gif$ 1440 90% 129600 ignore-reload
refresh_pattern -i \.bmp$ 1440 90% 129600 reload-into-ims
refresh_pattern -i \.js$ 1440 90% 129600 reload-into-ims
refresh_pattern -i \.mp3$ 1440 50% 2880 ignore-reload
refresh_pattern -i \.wmv$ 1440 50% 2880 ignore-reload
refresh_pattern -i \.rm$ 1440 50% 2880 ignore-reload
refresh_pattern -i \.swf$ 1440 50% 2880 ignore-reload
refresh_pattern -i \.mpeg$ 1440 50% 2880 ignore-reload
refresh_pattern -i \.wma$ 1440 50% 2880 ignore-reload
refresh_pattern -i \.rar$ 1440 50% 2880 ignore-reload
refresh_pattern -i \.zip$ 1440 50% 2880 ignore-reload
refresh_pattern -i \.7z$ 1440 50% 2880 ignore-reload
refresh_pattern -i \.pdf$ 1440 50% 2880 ignore-reload
refresh_pattern -i \.exe$ 1440 50% 2880 ignore-reload
refresh_pattern -i \.doc$ 1440 50% 2880 ignore-reload
refresh_pattern -i \.txt$ 1440 50% 2880 ignore-reload
refresh_pattern . 120 50% 1440

#大文件缓存
quick_abort_min 16 MB
quick_abort_max 16 MB
quick_abort_pct 60

#下载工具
range_offset_limit -1

connect_timeout 1 minute
negative_ttl 0 minutes
read_timeout 30 seconds
pconn_timeout 120 seconds
shutdown_lifetime 5 seconds
strip_query_terms off

# snmp
#snmp_port 3401
#acl snmppublic snmp_community snsimg
#snmp_access allow snmppublic localhost
#snmp_access deny all

acl snmppublic snmp_community public
snmp_port 3401
snmp_access allow snmppublic all

icp_port 0

# logfile
emulate_httpd_log on
logformat orgbined %{X-Forwarded-For}>h %ui %un [%tl] “%rm %ru HTTP/%rv” %Hs %<st “%{Referer}>h” “%{User-Agent}>h” %Ss:%Sh

access_log c:/squid/var/logs/access.log squid   

cache_log c:/squid/var/logs/cache.log
pid_filename c:/squid/var/logs/squid.pid
cache_store_log none
logfile_rotate 12

# MISCELLANEOUS
store_objects_per_bucket 15
client_db off

添加了一些注释,简单的修改后直接就能使用。该版本,2.6和3.0都可以使用(3.0需要简单修改),有什么问题可以在下面留言,大家共同讨论。

Squid 2.7 for Windows 下载地址:http://www.serassio.it/SquidNT.htm

百度网页有木马,疑为误报

????? 日前多数使用卡巴斯基杀毒软件的网友在浏览百度旗下众多网站时均出现了木马病毒警报。如下图:

????? 该JS文件内容如下:
function cf(flashsrc,flashwidth,flashheight,flashlink,br){
?document.write(“<table width=”+flashwidth+” height=”+flashheight+” border=0 cellpadding=0 cellspacing=0><tr><td>”);
?document.write(“<div style=\”position:relative\”>”);
?document.write(“<embed style=\”position:absolute;z-index:0\” src=”+flashsrc+” quality=\”high\” width=”+flashwidth+” height=”+flashheight+” TYPE=\”application/x-shockwave-flash\” PLUGINSPAGE=\”http://www.macromedia.com/shockwave/download/index.cgi?P1_Prod_Version=ShockwaveFlash\” wmode=\”opaque\”></embed>”);
?document.write(“<div style=\”background:white;filter:alpha(opacity=0);opacity:0;position: relative;z-index:10;left:0pt;top:0pt;width:”+flashwidth+”;height:”+flashheight+”px;\”>”);
?document.write(“<a href=”+flashlink+” target=\”_blank\” style=\”cursor:pointer;display:block;width:”+flashwidth+”;height:”+flashheight+”px;\”></a>”);
?document.write(“</div>”);
?document.write(“</div>”);
?document.write(“</td></tr></table>”);
?if (br==”1″) {
?document.write(“<br>”);
?}
}

function cf1(flashsrc,flashwidth,flashheight,br){
?document.write(“<embed src=\”"+flashsrc+”\” quality=high pluginspage=\”http://www.macromedia.com/shockwave/download/index.cgi?P1_Prod_Version=ShockwaveFlash\” type=\”application/x-shockwave-flash\” width=”+flashwidth+” height=”+flashheight+” align=center wmode=\”opaque\”></embed>”);
?if (br==”1″) {
?document.write(“<br><br>”);
?}
}

????? 可以看出该文件并没有什么明显异常,且还没有出现其他杀毒软件报警的情况(我使用诺顿安全特警2009),所以误报的可能性比较大。

域名更换后搜索引擎收录分析

????? 众所周知wordpress在更换域名后只需在后台设置里面将永久链接更新即可将原来域名的链接指向新的域名,如:
http://www.maxgo.cn/next-google-pr-update/?? (原来)
http://www.maxgo.org/next-google-pr-update/???(现在)
????? 在使用原来域名链接访问的时候,系统会自动跳转到现在使用的域名链接。这就极大的方便了访问者的阅读,同时也有利于搜索引擎索引的更新。

????? 21号域名更换后的24小时内,百度(230,0)新旧域名的收录都没有变化,而谷歌(484,110)在原来域名保持不变的情况下新域名很快被收录了110页。

????? 直到28号百度(230,0)依旧保持原样,而谷歌(484,18)新域名收录减少了许多。期间25、26、27号三天都有日志发表,不知是否受此影响,新日志谷歌都进行了收录。

????? 10月3号百度(230,0)依然如故,不知是否百度蜘蛛也放国庆假。而谷歌(479,57)在10月3号对新域名的收录量明显增多,而对旧域名的收录量则开始减少。从9月28号到10月3号,谷歌对新域名的收录量并不是一直增长的,期间最低时只收录了7页。

????? 10月15号百度(186,0) 谷歌(269,138)

????? 10月23号百度(2,0)? 谷歌(326,150) 百度对老域名的收录只剩下了2页(N年以前早已失效的子域),新站无收录,疑似被k(天大的冤屈~)。而谷歌降低了老域名的权重,谷歌搜索MaxGO老域名不再排第一,而对新域名的权重在逐步提升中。

????? 10月24号百度(87,0)? 谷歌(334,152)百度恢复了老域名的部分收录。而谷歌搜索maxgo新域名已经排名第一,顺利的完成了置换。而仅仅在昨天,老域名还排在第一页末。

????? 本站将继续关注收录情况,需要说明的是本站安装了sitemap,理论上是有利于谷歌收录的。但实际来看无论你是否安装了此插件,谷歌都将很快收录(可见以前的日志《Google的宠儿》)。

预言:百度竞价终将消亡

百度竞价终将消亡