TWed2k - 程式開發討論區 - [問題]檔掉spider

TWed2k » 程式開發討論區 » [問題]檔掉spider » 發表回覆

Discuz! 代碼
提示插入
直接插入
說明訊息

添加文字底框

內容 [字數檢查]:

表情符號













更多 Smilies

字型大小

小|中|大|巨

溫馨提示：本區開放遊客瀏覽。

儲存草稿｜恢復草稿｜...

文章關鍵字 : [功能說明]
(關鍵字可加強搜索準確性, 如關鍵字多於一組, 請以 , 作分隔, e.g. : 阿笨,shiuh,第一笨)

關閉 URL 識別 | html 禁用
關閉表情符號 | 表情符號可用
關閉 Discuz! 代碼 | Discuz! 代碼可用
使用個人簽名
接收新回覆信件通知

推薦放檔網絡空間

檔案(Torent, zip等)

圖片(JPG, GIF等)

>>>歡迎推薦好用空間

陽だまり

發表於 2007-5-7 09:10 PM

底下也有相關文章可參考
http://220.135.241.51/lbs/article.asp?id=1268

ps：spider橫行好像對愛用google的人是件好事

dayi

發表於 2007-5-7 04:51 PM

方法有好幾種
我個人常用的有
1.單一網頁
<_META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW" >

2.整個站台
修改robots.txt檔
裡面加上一行
User-agent: * Disallow: /

GGL

發表於 2007-5-7 02:28 PM

我架了一個Discuz討論區，起初一個月還好，之後的四個月，都有一堆google或是yahoo，可能還有其他的spider進入，
我只能一個一個把他們加入blacklist，請問有其他方法嗎？
ps.因為我看統計項裡面有個選項是spider的統計，因此Discuz應該是可以判斷哪些user是spider....
謝謝