TWed2k - Linux交流 - [問題]Linux上web自動點擊, 塡資料的軟體

主題: [問題]Linux上web自動點擊, 塡資料的軟體 [打印本頁]

發表人: reginald 時間: 2009-8-13 02:29 PM 主題: [問題]Linux上web自動點擊, 塡資料的軟體

必要:
1) 自動塡FORM的資料
2) 自動點擊特定連結點 (download file)
3) 獨立軟體，不是 firefox module

最好有:
A) command line scripting
B) table data extraction to csv file

===================================
我試過google，不是找不到，是資料太多，不知從何下手....

實在沒辦法一一去試

===================================
或者　外部 java / javascript 如何控制 firefox 的資料也OK...

[reginald 在 2009-8-13 02:36 PM 作了最後編輯]

發表人: innova 時間: 2009-8-21 04:24 PM

ref:
autoexpect
expect
lynx
wget

enjoy

發表人: reginald 時間: 2009-8-22 01:57 PM

引用:

innova寫到:

ref:
autoexpect
expect
lynx
wget

enjoy

none of the list meets the requirement...

發表人: innova 時間: 2009-8-24 03:24 PM

CODE:

[Copy to clipboard]

# autoexpect telnet www.ntu.edu.tw 80
.....
# vi script.exp
spawn telnet www.ntu.edu.tw 80
match_max 100000
expect -exact "Escape character is "
send -- "GET / HTTP/1.0\r"
expect -exact "GET / HTTP/1.0"
send -- "\r"

expect eof

接下來看你要對哪個連結做些什麼壞事
請自己在 script.exp 裡面修改!!!
script.exp 請屎用 expect 語法!

自動抓黨可直接屎用 wget
抓網頁也能用他

CODE:

[Copy to clipboard]

# wget www.ntu.edu.tw
# cut -d"=" -f 4 index.html | cut -d"\"" -f 1
.....

lynx 家不同的餐樹，可以幫你把 source dump 出來
幫你過濾連結出來

CODE:

[Copy to clipboard]

# lynx --dump http://www.ntu.edu.tw/chinese2009/
References
.....

發表人: reginald 時間: 2009-8-25 09:13 PM

目前絕大部份網站都使用 javascript / ajax 互動，
文字模式的browser能做的十分有限

對於wget，個人較喜好 curl .... (純靜態網頁)
wget/curl download 下來的，不一定是你看到的網頁

以人在電腦互動， imacros (extension for Firefox[win32 and linux] and IE) 是我目前最合用

在win32上，可以用 vbscript + at 自動執行 (OK)
在linux上，找不到方法可以自動執行firefox再執行 imacros ，(理論上，寫xpcom可行，但太難了...)

發表人: innova 時間: 2009-8-27 11:38 AM

Linux 上 FireFox 可以指定要 show 在哪個 display 上
加 -display 參數即可
但是似乎還是要在那個 display 上手動點一下滑鼠告訴XWin 你的 FF 要擺放的位置
所以似乎沒辦法利用 crontab做到全自動

也許您可以攔截自己送出的封包
然後用 autpscript / wget 之類的東西幫您`填寫表單` 並送出
wget 加餐數可以幫您代為送出 POST method 資料
GET 資料就更簡單直接連去該 URL 就是了~~

畢竟排除了 XXscript 的動作之後
填完的表單，總是要submit 去給某個網頁上的程式
總不太可能每次 action 的 form 都不一樣吧？
這樣寫法也太褲了點...

發表人: pcca 時間: 2009-9-16 11:48 AM

引用:

reginald寫到:

目前絕大部份網站都使用 javascript / ajax 互動，
文字模式的browser能做的十分有限

對於wget，個人較喜好 curl .... (純靜態網頁)
wget/curl download 下來的，不一定是你看到的網頁

以人在電腦互動， imacros (extension for Firefox[win32 and linux] and IE) 是我目前最合用

在win32上，可以用 vbscript + at 自動執行 (OK)
在linux上，找不到方法可以自動執行firefox再執行 imacros ，(理論上，寫xpcom可行，但太難了...)

I success use PHP script to control Firefox and imacros before...
but still very limited ....

發表人: innova 時間: 2009-12-29 05:26 PM

樓上方便來個飯粒嗎？

我是有用 proxomitron 去修改 html code
讓他定時跑我要的 function

Ref:
http://twed2k.org/viewthread.php?tid=290613

該篇靈感來自於：
http://zhidao.baidu.com/question/123371351.html

不攔截 html 其實也是可以
只要在輸入 URL 的地方直接鍵入:
javascript:if(_m_click)clearInterval(_m_click);_m_click=setInterval(function(){......;},1000*60*5);

但是每次 refresh後, 要打很多字..... XD (懶!)

歡迎光臨 TWed2k (http://twed2k.org/)