INPUTしたらOUTPUT!

忘れっぽいんでメモっとく

基礎からのベイズ統計学入門 輪読会　#4で発表してきた

R Stan 統計

#みどりぼん 読書会から約1年4ヶ月、まったく定着していないので復習を兼ねて以下の本の輪読会で発表してきました。

基礎からのベイズ統計学入門 輪読会 #4 - connpass

基礎からのベイズ統計学: ハミルトニアンモンテカルロ法による実践的入門

基礎からのベイズ統計学: ハミルトニアンモンテカルロ法による実践的入門


続きを読む

R言語徹底解説をご恵贈頂きました

R

報告が遅くなりましたが「R言語徹底解説」をご恵贈頂きました！

f:id:tak95:20160221024247p:plain:w200

ありがとうございますm(_ _)m
すでに多くの人が読了エントリ*1*2*3*4*5を書かれており、それらの書評で十分ですがようやく読み終えたので特に印象に残ったトピックを取り上げたい。


*1:「R言語徹底解説」（Hadley Wickham 著・石田 基広・市川 太祐・高柳 慎一・福島 真太朗訳）を読んだ。 - Technically, technophobic.

*2:📘 R言語徹底解説（原著: Advanced R）を読んだ - まだ厨二病

*3:『R言語徹底解説』(共立出版)をいただきました！ - りんごがでている

*4:R言語徹底解説をご恵贈いただきました - 個人用データ解析備忘録

*5:「R言語徹底解説」入門 - Qiita

続きを読む

RでGeoJSON形式ファイルをelasticsearchのBulk API用に変換する

R

estrellita.hatenablog.comの続き。


GeoJSON形式に変換したもののそのままではelasticsearchに投入できない。 1行ずつフェッチして投入しても良いけど通信のオーバーヘッドもあるのでBulk API用で取り込める形式に変換する。


続きを読む

RでShape形式のファイルをGeoJSON形式に変換する

R

estrellita.hatenablog.com

の続き

参考にさせて頂いた総務省のデータを Elasticsearch にぶち込んで、緯度経度から市区町村の何丁目までを取り出す - Qiitaではオンラインツールを紹介しているが、約1900あるShapeファイルを手動でWebにアップするほうが面倒なのでRで変換する。


続きを読む

iMacrosで総務省の境界データをダウンロードを自動化する

estrellita.hatenablog.com

の続き。前回も参考にさせてもらった総務省のデータを Elasticsearch にぶち込んで、緯度経度から市区町村の何丁目までを取り出す - Qiitaに

１市区町村ずつダウンロードとか正直やってられません。

とあるように約1900ファイルある日本全国分の境界データを手動でダウンロードなどやっていられない。 ブラウザの拡張機能であるiMacrosを使って自動化できたのでメモしとく。 (Seleniumなどでもできるかも)


1. iMacrosのマクロサンプル

以下は千代田区・中央区・港区の境界データをダウンロードするサンプル。


境界データ自動ダウンロードマクロ


各コマンドの意味は次の表の通り。

コマンド 備考
SET !REPLAYSPEED SLOW 自分の環境ではデフォルトだと速すぎてエラーになるのでSLOWに設定
SET !TIMEOUT_STEP 30 境界データのリンクを表示するのに時間がかかる場合があるので30秒を設定
TAG POS=1 TYPE=SELECT ATTR=id:pref_list CONTENT=%13 都道府県コードを指定
TAG POS=1 TYPE=SELECT ATTR=id:city_list CONTENT=%13101 市区町村コードを指定
TAG POS=6 TYPE=A ATTR=TXT:〜* POS=2 : 日本測地系平面直角座標系・Shape形式
POS=3 : 世界測地系平面直角座標系・Shape形式
POS=4 : 世界測地系平面直角座標系・GML形式
POS=5 : 日本測地系緯度経度・Shape形式
POS=6 : 世界測地系緯度経度・Shape形式
POS=7 : 世界測地系緯度経度・GML形式
WAIT SECONDS=3 高負荷をかけないように3秒待機


2. 地域コード一覧

全国の地域コードの一覧もリンク先にアップした。

地域コード一覧 · GitHub


地域コードの重複も結構多い（上記のファイルは重複を除外している）ので自分でリストを作るのであれば注意が必要。


3. ファイルの確認

2016年1月現在、ダウンロードするファイル名の命名規則は以下のようだ。（2015年の国勢調査の結果で変わるかも）

A002005212010[座標系][ファイル形式][測地系]C[地域コード].zip

項目 備考
座標系 XY : 平面直角座標系
DD : 緯度・経度
ファイル形式 S : Shape形式
M : GML形式
測地系 J : 日本測地系
W : 世界測地系


ダウンロード後は必ず希望するファイルがダウンロードできているか確認すること。
（ダウンロードできていない・異なる座標系のファイルをダウンロードしていたことがあったが、やり直すと正常にダウンロードできていた）


次はShapeファイルからGeoJSONに変換する。

CentOS6.7(64bit)にelasticsearch 1.4.1をインストールする

Linux elasticsearch

逆ジオコーディングしたい。
しかし社内環境などでGoogleやYahooなど社外のAPIは叩けない。

ググってたらelasticsearchでもできそうだったので以下を参考にやってみた。

qiita.com


2016.2.2の時点でelastic searchの最新版は2.1.1なんだけどGeoJSONのロードがうまくいかなかったので1.4.1をインストールする。

Repositories の通りなので記事にするまでもないし、今更なんだけどあえて手順をメモしとく。

  • 環境
    • CentOS release 6.7 (Final)
    • elasticsearch 1.4.1-1


続きを読む