2015年7月7日火曜日

wgetによるデータの一括のダウンロード方法

ステレオ画像処理の評価標準画像データであるMiddlebury Stereo Datasetsのダウンロードを題材にして、 Windowsへのwgetのインストール方法と使い方をメモしておく。

Chocolateyからwgetをインストール

ChocolateyはUbuntuのapt-getのようなもの。 使えばインストールは簡単なのでインストールされていなければまずこれをインストール。 インストール方法も簡単で下記の>以降をコマンドプロンプトにコピペしてエンターを押すだけ。

> @powershell -NoProfile -ExecutionPolicy Bypass -Command \"iex ((new-object net.webclient).DownloadString(\'https://chocolatey.org/install.ps1\'))\" && SET PATH=%PATH%;%ALLUSERSPROFILE%\\chocolatey\\bin

wgetのインストールもコマンドプロンプトでこの一行。

> choco install wget

データのダウンロード

データダウンロード用のbatファイルを作って一括ダウンロードする。 正規表現などで自動的にディレクトリを列挙してダウンロードするなど、 もう少し賢い方法は今後検討する。

:: 10 evaluation training sets with GT
wget -r -np -nH -N --cut-dirs=4 http://vision.middlebury.edu/stereo/data/scenes2014/datasets/Adirondack-imperfect/
wget -r -np -nH -N --cut-dirs=4 http://vision.middlebury.edu/stereo/data/scenes2014/datasets/Jadeplant-imperfect/
wget -r -np -nH -N --cut-dirs=4 http://vision.middlebury.edu/stereo/data/scenes2014/datasets/Motorcycle-imperfect/
wget -r -np -nH -N --cut-dirs=4 http://vision.middlebury.edu/stereo/data/scenes2014/datasets/Piano-imperfect/
wget -r -np -nH -N --cut-dirs=4 http://vision.middlebury.edu/stereo/data/scenes2014/datasets/Pipes-imperfect/
wget -r -np -nH -N --cut-dirs=4 http://vision.middlebury.edu/stereo/data/scenes2014/datasets/Playroom-imperfect/
wget -r -np -nH -N --cut-dirs=4 http://vision.middlebury.edu/stereo/data/scenes2014/datasets/Playtable-imperfect/
wget -r -np -nH -N --cut-dirs=4 http://vision.middlebury.edu/stereo/data/scenes2014/datasets/Recycle-imperfect/
wget -r -np -nH -N --cut-dirs=4 http://vision.middlebury.edu/stereo/data/scenes2014/datasets/Shelves-imperfect/
wget -r -np -nH -N --cut-dirs=4 http://vision.middlebury.edu/stereo/data/scenes2014/datasets/Vintage-imperfect/

:: 13 additional datasets with GT
wget -r -np -nH -N --cut-dirs=4 http://vision.middlebury.edu/stereo/data/scenes2014/datasets/Backpack-imperfect/
wget -r -np -nH -N --cut-dirs=4 http://vision.middlebury.edu/stereo/data/scenes2014/datasets/Bicycle1-imperfect/
wget -r -np -nH -N --cut-dirs=4 http://vision.middlebury.edu/stereo/data/scenes2014/datasets/Cable-imperfect/
wget -r -np -nH -N --cut-dirs=4 http://vision.middlebury.edu/stereo/data/scenes2014/datasets/Classroom1-imperfect/
wget -r -np -nH -N --cut-dirs=4 http://vision.middlebury.edu/stereo/data/scenes2014/datasets/Couch-imperfect/
wget -r -np -nH -N --cut-dirs=4 http://vision.middlebury.edu/stereo/data/scenes2014/datasets/Flowers-imperfect/
wget -r -np -nH -N --cut-dirs=4 http://vision.middlebury.edu/stereo/data/scenes2014/datasets/Mask-imperfect/
wget -r -np -nH -N --cut-dirs=4 http://vision.middlebury.edu/stereo/data/scenes2014/datasets/Shopvac-imperfect/
wget -r -np -nH -N --cut-dirs=4 http://vision.middlebury.edu/stereo/data/scenes2014/datasets/Sticks-imperfect/
wget -r -np -nH -N --cut-dirs=4 http://vision.middlebury.edu/stereo/data/scenes2014/datasets/Storage-imperfect/
wget -r -np -nH -N --cut-dirs=4 http://vision.middlebury.edu/stereo/data/scenes2014/datasets/Sword1-imperfect/
wget -r -np -nH -N --cut-dirs=4 http://vision.middlebury.edu/stereo/data/scenes2014/datasets/Sword2-imperfect/
wget -r -np -nH -N --cut-dirs=4 http://vision.middlebury.edu/stereo/data/scenes2014/datasets/Umbrella-imperfect/