Wgetを使ってすべてのフォルダ、サブフォルダ、ファイルをダウンロードする

これは試していないと思いたい。

wget -r --no-parent http://www.mysite.com/Pictures/

とか、「index.html」ファイルをダウンロードせずにコンテンツを取得するとか。

wget -r --no-parent --reject "index.html\*" http://www.mysite.com/Pictures/

参照。任意のファイルを含むディレクトリを再帰的に取得するために wget を使用する ](https://stackoverflow.com/a/273776)

wget -rkpN -e robots=off http://www.example.com/

-r は再帰的に

-k はリンクの変換を意味します。つまり、ウェブページ上のリンクは example.com/bla ではなく localhost になります。

-p は全てのウェブページのリソースを取得し、画像やjavascriptファイルを取得してウェブサイトを正常に動作させることを意味します。

-N はタイムスタンプを取得するため、ローカルファイルがリモートウェブサイト上のファイルよりも新しい場合には、それらをスキップします。

-e はフラグオプションです。

robots=off はロボットファイルを無視することを意味します。

私はこのコマンドにもrobots=offを入れていたので、もし接続が切れてしまった場合、コマンドを再実行した時に元に戻っていたところから継続していました。-c は -N と相性が良いと考えました。

wget -m -A * -pk -e robots=off www.mysite.com/ 全てのタイプのファイルをローカルにダウンロードして、htmlファイル から指定し、robotsファイルは無視します。