TWed2k - 程式開發討論區 - [問題]檔掉spider

TWed2k » 程式開發討論區 » [問題]檔掉spider

可打印版本 | 推薦給朋友 | 訂閱主題 | 收藏主題 | 純文字版

GGL
銀驢友〔中級〕

今日心情

．積分： 751
．文章： 534
．收花： 2477 支
．送花： 550 支
．比例： 0.22
．在線： 12456 小時
．瀏覽： 466800 頁
．註冊： 6861 天
．失蹤： 0 天
． TW

#1 : 2007-5-7 02:28 PM 只看本作者	送花 (0) 送出中...

我架了一個Discuz討論區，起初一個月還好，之後的四個月，都有一堆google或是yahoo，可能還有其他的spider進入，
我只能一個一個把他們加入blacklist，請問有其他方法嗎？
ps.因為我看統計項裡面有個選項是spider的統計，因此Discuz應該是可以判斷哪些user是spider....
謝謝

[如果你喜歡本文章，就按本文章之鮮花～送花給作者吧，你的支持就是別人的動力來源]

本文連接

快速回覆

dayi
開墾隊隊員

ZeroX

今日心情

．積分： 935
．文章： 2060
．收花： 7802 支
．送花： 2401 支
．比例： 0.31
．在線： 2821 小時
．瀏覽： 61582 頁
．註冊： 7129 天
．失蹤： 1228 天
． ZeroX

#2 : 2007-5-7 04:51 PM 只看本作者	送花 (9) 送出中...

方法有好幾種
我個人常用的有
1.單一網頁
<_META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW" >

2.整個站台
修改robots.txt檔
裡面加上一行
User-agent: * Disallow: /

[如果你喜歡本文章，就按本文章之鮮花～送花給作者吧，你的支持就是別人的動力來源]

本文連接

快速回覆

陽だまり
白銀驢友

ささらの可愛さは異常

．積分： 1330
．精華： 1
．文章： 3159
．收花： 10387 支
．送花： 26639 支
．比例： 2.56
．在線： 4508 小時
．瀏覽： 30308 頁
．註冊： 7436 天
．失蹤： 1444 天
．星の彼方

#3 : 2007-5-7 09:10 PM 只看本作者	送花 (3) 送出中...

底下也有相關文章可參考
http://220.135.241.51/lbs/article.asp?id=1268

ps：spider橫行好像對愛用google的人是件好事

[如果你喜歡本文章，就按本文章之鮮花～送花給作者吧，你的支持就是別人的動力來源]

本文連接

快速回覆

所在時區為 GMT+8, 現在時間是 2024-11-22 12:22 AM	清除 Cookies - 連絡我們 - TWed2k © 2001-2046 - 純文字版 - 說明 Discuz! 0.1 \| Processed in 0.019186 second(s), 6 queries , Qzip disabled