Bitcoin関連データ収集自動化1 Yahoo finance API 2 CSV by shell script

今回気づいた取引の失敗（後日詳細を述べる）から、ある程度の相場の分析が必要だと判断したが、
計算ソフトへの入力が面倒くさすぎる。

というわけで、一般の情報収集にはYahoo finance のAPIを用いることにした。
参考にさせてもらったのはhttp://www.jarloo.com/yahoo_finance/という英語のサイト。

APIと言うと難しい響きだが、データ収集なら結構簡単（Google検索みたいに、今まで気づかずに使っているのだろう）。ウェブブラウザのアドレスに以下を張り付けるだけ。
http://finance.yahoo.com/d/quotes.csv?s=BTCUSD=X+JPY=X&f=nl1
これは一例だが、これでドル建てのビットコインの値段とドル円相場がCSVファイルで取得できる。
通貨の種類を＋で区切り、データの種類は&f=の後に羅列するだけ。

自分はUbuntu userなので、Shell scriptファイルでさらに自動化。

#!/bin/sh



#Set the directory which this file exists will be the root directory.
dirname=`dirname $0`;



# make directory for saving the raw data files.
mkdir -p ./Raw_Data;　



#-----------Yahoo finance data--------------
#Get the raw data from Yahoo finance
wget -O ./Raw_Data/Yahoo_data.csv "http://finance.yahoo.com/d/quotes.csv?s=BTCUSD=X+JPY=X&f=nl1" ;
#-----------end--------------




今後もこのような自動化を増やしていく予定なので、新規フォルダ（Raw_Dataフォルダ）作成し、ここに生データを突っ込むことにした（なんかエロい）。CSVファイルをYahoo_data.csvと名付けてダウンロードする。wgetコマンドを今後いろいろ追加し、データ収集を自動化する予定。

私はプログラマーではないので、コンピューター言語も詳しくないし(HTMLとXMLとShell-scriptをコピペして使っている程度のレベル。)、このぐらいの自動化がコスト的に限界。計算は計算ソフト（Libreoffice使ってます。WindowsはXP以外ほとんど使ったことがないし、エクセルとか無駄に値段が高くてこれまで自分の金で買ったことないwww）の外部ファイル参照機能で既に作った解析用のファイルにとりこむ。

時間が余ったら、統計ソフトのRで経済の勉強しながら多変量解析（できるのかな…）してみよう。