TWed2k - 程式開發討論區 - [問題]檔掉spider

主題: [Discuz] [問題]檔掉spider [打印本頁]

發表人: GGL 時間: 2007-5-7 02:28 PM 主題: [問題]檔掉spider

我架了一個Discuz討論區，起初一個月還好，之後的四個月，都有一堆google或是yahoo，可能還有其他的spider進入，
我只能一個一個把他們加入blacklist，請問有其他方法嗎？
ps.因為我看統計項裡面有個選項是spider的統計，因此Discuz應該是可以判斷哪些user是spider....
謝謝

發表人: dayi 時間: 2007-5-7 04:51 PM

方法有好幾種
我個人常用的有
1.單一網頁
<_META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW" >

2.整個站台
修改robots.txt檔
裡面加上一行
User-agent: * Disallow: /

發表人: 陽だまり 時間: 2007-5-7 09:10 PM

底下也有相關文章可參考
http://220.135.241.51/lbs/article.asp?id=1268

ps：spider橫行好像對愛用google的人是件好事

歡迎光臨 TWed2k (http://twed2k.org/)