wgetメモ(デッドリンクのチェックとHTTPヘッダ表示)

wgetはHTTPでファイルを取得する以外にも色々なオプションがありますが、よく忘れるのでメモ。

#### デッドリンクのチェック

指定したURLから再帰的にリンクを辿り、デッドリンクをチェックします。外部リンクはチェックしません。

% wget --spider --recursive --no-directories --no-verbose http://example.com

実行結果はこんな感じ。
[bash]
(略)
2013–09–11 04:21:18 URL:http://example.com/archives/2431/feed [981981] -> "feed" [1]
2013–09–11 04:21:19 URL:http://example.com/archives/2431 [3297832978] -> "index.html?p=2431" [1]
2013–09–11 04:21:19 URL:http://example.com/archives/2396/feed [996996] -> "feed" [1]
2013–09–11 04:21:20 URL:http://example.com/archives/2396 [3356933569] -> "index.html?p=2396" [1]
2013–09–11 04:21:20 URL:http://example.com/archives/2390/feed [10481048] -> "feed" [1]
2013–09–11 04:21:20 URL:http://example.com/archives/2390 [3414834148] -> "index.html?p=2390" [1]
Found 2 broken links.
http://example.com/wp-content/uploads/2010/08/R0012153.jpg
http://example.com/wp-content/uploads/2010/08/R0012154.jpg
[/bash]

Found 2 broken linksの下にあるURLがデッドリンク。標準エラー出力に出力されるのでファイルへリダイレクトする際には注意が必要

HTTPヘッダの表示

% wget -S --spider http://example.com

[bash]
Spider mode enabled. Check if remote file exists.
 — 2013–09–11 04:43:04 — http://example.com/
Resolving example.com… 203.216.227.245
Connecting to example.com|203.216.227.245|:80… connected.
HTTP request sent, awaiting response…
 HTTP/1.1 200 OK
 Date: Tue, 10 Sep 2013 19:43:04 GMT
 P3P: policyref="http://privacy.example.com/w3c/p3p.xml", CP="CAO DSP COR CUR ADM DEV TAI PSA PSD IVAi IVDi CONi TELo OTPi OUR DELi SAMi OTRi UNRi PUBi IND PHY ONL UNI PUR FIN COM NAV INT DEM CNT STA POL HEA PRE GOV"
 Expires: -1
 Pragma: no-cache
 Cache-Control: private, no-cache, no-store, must-revalidate
 X-XRDS-Location: http://open.login.example.com/openid20/www.example.com/xrds
 Vary: Accept-Encoding
 Connection: close
 Content-Type: text/html; charset=utf-8
Length: unspecified [text/html]
Remote file exists and could contain further links,
but recursion is disabled — not retrieving.
[/bash]

Edit(Admin)