[DATA Saber]Mukadeのブログ

Tableauについていろいろと書きます。

DATA Saberのすすめ

この度、DATA Saber認定をいただきました。

 

90日間という期限の中、88日目に最後の試練(技術認定試験ならびに口頭試問)をパスしました。

 

夜遅くや休日などにお付き合いいただいた師匠には感謝しかありません。

 

個人的には、最後の試練は集大成の様でもあり、学び進めて行く間に、理解が浅く記憶から薄れてしまった内容を炙り出す振り返りの機会としても充実したものとなりました。

 

これからは弟子を育てる立場にもなる訳ですが、まだまだ未熟ですので、まずはTableauをもっともっと使い倒して、1日も早くflowの境地を迎えられる様、精進します。

 

戦国最強の武田軍において、精鋭の伝令部隊である百足衆(むかでしゅう)にあやかり、2つ名はMukadeとしました。

 

百足(ムカデ)の様に、決して後ろへ退かない姿勢で今後も取り組んでいきます。

 

f:id:mukadeshu:20201210205646j:plain

百足衆の旗指物

 

 

3次メッシュ(1km2)データ活用のTips「メッシュコードとエリアの紐づけ」

今回は、3次メッシュ(1km2)データ活用のTipsとして、メッシュコードとエリアの紐づけについてご紹介いたします。

 

メッシュコードとエリアの紐づけの目的

今回も北海道のケースでご説明したいと思います。

北海道は広大なため、支店・営業所などの管轄するエリアが複数に分かれていることが想定されます。

従いまして、エリア単位にデータが管理出来るようにするため、前回の 3次メッシュ(1km2)データ活用から派生した形で、3次メッシュ単位にエリアが紐付いたテーブルを作成して、プライマリデータソースへ取り込む方法というのをご紹介します。

 

テーブルの作成

今回は便宜上、エリアを支店名と命名しています。

従いまして、メッシュコードと支店名が紐づけられたテーブルを作成します。

メッシュコードというよりも、市区町村名に対して(管轄する)支店名を紐づける形になるかと思いますので、市区町村名でフィルタをしながら支店名のカラムを埋めてください。

こちらのファイルは「支店名テーブル.xlsx」としておきます。

 

f:id:mukadeshu:20201123131403p:plain

メッシュコードと支店名の紐づけテーブル抜粋

 

支店名テーブル.xlsxのデータブレンド

セカンダリデータソースとして、「支店名テーブル.xlsx」をデータブレンドします。

市区町村名とメッシュコードはデータリンク(クサリマーク)させます。

 

f:id:mukadeshu:20201123131931p:plain

支店名テーブルのブレンド

プライマリデータソースへのグループ追加

セカンダリデータソースの支店名をピルにドラッグして右クリックをするとプライマリグループの作成というのが選択出来るようになっています。

つまり、作成した支店名がプライマリデータソースの市区町村とメッシュコードに紐付く形の支店名グループとして、プライマリデータソースに取り込むことが可能です。

 

f:id:mukadeshu:20201123132632p:plain

 

(事後処理)セカンダリデータソースの削除

セカンダリデータソースの「支店名テーブル.xlsx」とは接続を削除しても問題はありません。

 

f:id:mukadeshu:20201123133115p:plain

セカンダリデータソースの削除

エリア(支店名)の紐付けイメージ

エリア(支店名)の紐付けイメージは以下のようになります。

f:id:mukadeshu:20201123133411p:plain

エリア(支店名)の紐付けイメージ

f:id:mukadeshu:20201123133650p:plain

(再掲)支店名テーブル抜粋

これにより、地理的役割をより細かな粒度で、エリア(支店名)毎にデータ分析すること可能になります。利用シーンが限られるかもしれませんが、データ分析の一助になれば幸いです。

3次メッシュ(1km2)データ活用のTips「空間ファイルの結合」

今回は、3次メッシュ(1km2)データ活用のTipsとして、空間ファイルの結合についてご紹介いたします。

 

3次メッシュ(1km2)のデータ活用について

まず、3次メッシュ(1km2)のデータ活用することで何が出来るのかは以下に詳しく記載されていますのでご覧ください。

 

www.tableau.com

 

具体的な活用例について

北海道の2015年国勢調査のデータをもちいて具体的な活用例をご紹介します。

 

まず、地理的役割(群)による市区町村表示から。

f:id:mukadeshu:20201123105250p:plain

Before(市区町村表示)

続いて、メッシュ表示。

f:id:mukadeshu:20201123105937p:plain

After(メッシュ表示)

さらに、ヒートマップ表示。

つまり、地理的役割をより細かな粒度で分析が出来るようになるわけです!!

 

空間ファイルの結合の目的

簡単に言うと、データソースの空間ファイルを結合しておくことにより、ファイル管理を簡便にしつつ、パフォーマンス向上を図るといった目的で実施する内容です。

 

まず、空間ファイルは、政府統計の総合窓口サイトe-Stat(https://www.e-stat.go.jp/)などから入手するのですが、ダウンロード提供単位は1次メッシュ(約80km2)のため、大きな北海道であれば40セット、小さな山梨県でも3セットをユニオンする必要があります。

 

セットと書きましたが、空間ファイル(通称;shpファイル)は、拡張子shp,dbf,shx,prjの最低4つのファイルで1セットとなっているため、ファイル数換算ですと、北海道は160ファイル、山梨県は12ファイルに及ぶこととなります。

 

空間ファイル構成の補足

空間ファイルとして最低限必要な構成は.shp,dbf,shxの3つです。しかしながら、prjは座標系情報ファイルであり、構成にあると座標系指定が不要になります。

 

空間ファイルの結合手順

では、実際に空間ファイルの結合の手中について、北海道のケースをもちいて、40セット(160ファイル)を1セット(4ファイル)にする方法でご紹介します。

 

(事前準備)結合に使用するツールQGISのインストール

Tableauとは他に、無料で使えるQGIS(キュージーアイエス)という地図情報システムのソフトウェアを使用するのですが、とても簡単に利用できるのでご安心ください。

 

ja.wikipedia.org

 

以下からご自身のPC(OS)にあったソフトウェアをダウンロードします。

なお、長期リリース(最も安定)の64bit or 32bitを選択することをおすすめします。

 

QGISのダウンロード(https://qgis.org/ja/site/forusers/download.html)より、ソフトウェアをダウンロードしてインストールをします。

 

(補足)QGIS地図表示について

QGISにGoogleMapなどの地図をベース表示するため、QuickMapServicesというプラグインのインストール方法をご説明します。

 

プラグインプラグインの管理とインストール⇒設定

⇒実験的プラグインも表示にチェック⇒全プラグインからQuickMapServicesを検索

⇒インストールを選択すれば完了です。

 

f:id:mukadeshu:20201123150722p:plain

QuickMapServicesプラグインのインストール

(補足)QuickMapServicesの設定

QuickMapServicesの地図を利用するために地図データを取得してくる設定をします。

基本的に以下の手順を1回実施すれば完了し、これにより、各種地図をベース表示することが可能となります。

Web⇒QuickMapServices⇒Settings

⇒More ServicesのGet contributed packを選択

⇒Last Cersion of contrib pac was downloaded!のOKを選択⇒保存を選択

 

f:id:mukadeshu:20201123151018p:plain

QuickMapServicesの設定

 

(事前準備)空間ファイルの入手

前出の政府統計の総合窓口サイトe-Stat(https://www.e-stat.go.jp/)から3次メッシュファイルを入手します。

f:id:mukadeshu:20201123114605p:plain

e-Statデータダウンロード

 

空間ファイルの取り込みと結合準備

ダウンロードしてきたすべての空間ファイルから拡張子がshpのファイルを全てQGISに取り込みます。取り込み方法はファイルをドラッグ&ドロップすれば完了しますので、対象範囲に漏れが無いか、地図上に表示された色塗りされた1次ファイル(約80km2)で確認します。

 

f:id:mukadeshu:20201123115534p:plain

空間ファイルの取り込み

その後、結合準備として、メニューから以下の順に選択します。

ベクタ⇒データ管理ツール⇒ベクタレイヤのマージ

 

空間ファイルの結合処理

ベクタレイヤのマージウィンドウで以下のとおりに設定・実行をします。

(a)入力レイヤ:全て(40ファイル)を選択

(b)座標参照系:デフォルトCRS:EPSG:4326-WGS

(c)出力レイヤ:保存先を選択

(d)「実行」をクリック

f:id:mukadeshu:20201123120240p:plain

ベクタレイヤのマージウィンドウ

 

保存先フォルダに結合された空間ファイルが出力されます。

f:id:mukadeshu:20201123122745p:plain

保存先フォルダ

 

Tableauによる空間ファイル接続

通常とおり、Tableauの接続から結合した1つの空間ファイルを選択することで、北海道全域のデータとして利用することが可能になります。

 

f:id:mukadeshu:20201123123328p:plain

Tableauによる空間ファイル接続

 

利用イメージ

利用イメージとして市区町村コードを色にして表示させたケースです。

f:id:mukadeshu:20201123125424p:plain

利用イメージ(市区町村コード:ズームアウト)

ズームアップしてみると3次メッシュ毎で格子状にされていることが分かります。

f:id:mukadeshu:20201123125623p:plain

利用イメージ(市区町村コード:ズームアップ)

今回のTipsでは空間データの縦結合(UNION)のご紹介しましたが、QGISでは、空間データの横結合(JOIN)も可能です。データソースのベストプラクティスとして活用のご検討をいただければ幸いです。

 

続・Apprentice of DATA Saberのすすめ

続・Apprentice of DATA Saberのすすめです。

 

Apprentice of DATA Saberとして、私が進めている内容をケースとしてご紹介いたします。

 

・DATA Saberの方に師匠になってもらう。

はじめに、私の場合は、職場にDATA Saberの方がいたため、DATA Saberの存在を知ることが出来ました。以前からTableauに関して聞いたことはありましたが、具体的にどんなものかもまったく分かっていませんでした。

師匠から、Tableauハンズオンの機会を与えてもらったことがDATA Saberを目指すきっかけともなりました。

 

・技術力に関する問を全て満点でクリアする。

「技術力に関する問」に関しては、全てクリアが出来ました。

DATA Saber認定制度を作ったKTさんのyoutubeチャンネルである、KTチャンネルを視聴しながら進めることと補助教材によって、ほとんどの課題はクリアできると思います。

 

特に、Vizを作成することで正答を得られるものは、内容を理解するまで動画を戻したりしながら反復していけば理解が深まります。

 

ただし、文書を読んで正答を導くものは、さまざまな解釈出来るように捉えてしまい悩むことがありました。その場合は、自身の考えを整理した上で、師匠や、まわりにいるApprenticeなどとディスカッションすることをおすすめします。

 

www.youtube.com

 

note.com

 

・コミュニティ活動で50pt以上を獲得する。

 

コミュニティ活動は以下のメニューを選択しました。

 

パブリック
○:Tableau PublicへのViz投稿(10pt / 4週間以内に3回投稿)

×:Tableau Community Forumsでの質問回答(10pt / 4週間以内に3回投稿)

○:Tableau関連のブログ記事の投稿(10pt / 4週間以内に3回投稿)

×:Tableauユーザー会の開催(10pt / 1回)

○:Tableau関連の講演(10pt / 1回)

 

組織内
○:イベント開催(10pt / 1回)

×:Doctor開催(5pt /1回)

×:オンラインコミュニティ運営(10pt / 1種類)

○:Viz共有(10pt / 4週間以内に3つ)

○:情報共有(10pt / 4週間以内に3回)

×:分析案件実施(30pt / 1回)

 

こちらは、現在進行形でして、50ptを超えればクリアできるのですが、師匠が「認定するには足りない」と判断することも考慮して、上回る活動をしています。

 

私の場合、一般企業に務めていて、会社からTableau Desktopのライセンスが貸与されているのですが、組織内のコミュニティを進めるにあたっては、会社のデータが扱えないTableau Publicの場合、分析案件実施が選択し難いなどの違いがあると思います。そもそも、難しそうなメニューではありますケド。

従いまして、一般企業でも業種によっては、進めやすい・進めにくいメニューがあって、逆に公共機関勤めの方や、学生の方が、Tableau Publicによる活動がしっくり来るのかと想像します。

 

上記をクリアした者は、最終試験の受験資格を得る。
師であるDATA Saberから最後の試練(技術認定試験ならびに口頭試問)を受け、
合格した者はKnight of DATA Saberの称号を得る。

 

現時点では最終試験の手前となりますが、3ヶ月という限られた中で、日常の業務(学生の場合は勉強)と、Tableau学習&コミュニティ活動のクリアを両立させる必要がある点が最大の醍醐味でもあります。

と、振り返って思えるように頑張ります!!

 

決して、ゴールでは無いんでしょうけど。。。

 

Apprentice of DATA Saberのすすめ

今回は、Apprentice of DATA Saberについてご紹介します。

 

Apprentice of DATA Saberの前に、DATA Saberをご説明します。

 

DATA Saberというのは、Tableau DATA Saber Boot Campという名の3ヶ月におよぶ日本固有の認定プログラムを卒業した人に与えられる称号(旧称:Tableau Jedi)です。


Apprenticeは、見習いという意味なので、Apprentice of DATA Saberというのは、DATA Saberを目指す人ということです。

DATA SABER認定制度オフィシャルサイト 

datasaber.world

 

データに溺れかけている世界をその剣で守り導く救世主
データを通して世界を理解し、それを人に正しく伝える努力を怠らず、人の心を動かし、行動を促す。これがDATA Saberである。

 

DATA SABERの持つ力
DATAにまつわる包括的な知識と技術力、ならびにData Driven Cultureを広める力の双方を高いレベルで兼ね備える。

 

DATAのその先の世界を見通す技術力
DATAを理解するための基本から上級のスキルを迷いなく引き出せるほどにまで身につけ、いつでもスムーズに使用することができる。「データが何を言っているかわかる」ようになる。

 

DATA DRIVEN CULTUREを伝え、人々を導く力
データを理解することでビジネスを変革できると確信し、それを会社内や社会に広める活動を行う。

 

上記のとおり、このプログラムの目的は、Tableauのスキルにとどまらず、DATAそのものに対する知識・技術力や、Data Driven Culture(データに基づき判断し行動する)のマインド醸成・浸透までに及びます。

 

 

なお、DATA Saberまでのプロセスとしては以下を完遂する必要があります。

(1)DATA Saberの方に師匠になってもらう。

(2)Apprentice of DATA Saber登録する(以降3ヶ月の間に(6)までを完遂)

(3)技術力に関する問を全て満点でクリアする。

(4)コミュニティ活動で50pt以上を獲得する。

 *:(3)(4)は同時並行で進める。

(5)最終試験をクリアする。

(6)師匠からの口頭試問を受けてクリアする。
 

現在、Apprentice of DATA Saberという立場で2ヶ月を経過しましたが、よい意味でこのプログラムのことを考えない日がありません(笑)

毎日進捗するわけでも無い上、期限は限られておりますので、頭の中で逆算しながらDATA Saber認定に間に合うようにプレッシャーを楽しんでいます。

 

Apprentice of DATA Saberになって、DATA Saberを目指してみませんか?

 

Tableau(タブロー)のすすめ

いきなりですが、Tableau(タブロー)って聞いたことありますか?

 

f:id:mukadeshu:20201103180638p:plain

Tableau

 Tableauと言うのは、データ分析が簡単にできる大人気のセルフサービス BI (ビジネスインテリジェンス)ツールです。 

 

www.tableau.com

ja.wikipedia.org

 

では、セルフサービスBIツールとは何だかご存じですか?

 

セルフサービスBIとは
エンドユーザー自身で分析やレポートの作成ができるBIツール(ビジネスインテリジェンスツール)のこと。そもそもBIツールとは、企業に蓄積されたデータを収集・分析・加工し、その結果を「見える化」することで、経験則や直感ではなく「データに基づいた判断」ができるようにするツールをいう。

 

www.otsuka-shokai.co.jp

 

Tableauを使うようになってから、「Excelとは何が違うの?」と聞かれることがチョクチョクあります。

 

その際には、

・ドラッグ&ドロップで直感的に可視化が出来ること。

インタラクティブに軸やグラフの種類等の比較対象を変えられること。

・大量なデータを取り扱ってもパフォーマンスが落ちにくいこと。

 等の特徴を挙げます。

また、表計算に関しては、専門であるExcelの方が向いているを伝えています。

 

従いまして、Excelとは利用する「目的」が異なると考えています。

 

Tableau Desktop

www.tableau.com

 

なんとなくTableauとはどんなツールなのかを分かっていただけたでしょうか?

Tableauを利用するにあたってのトレーニング環境が非常に充実していて、これがまた凄いのでいくつかご紹介いたします!

 

その1:無料トレーニングビデオが凄い!

無料トレーニングビデオのボリュームが半端ないんです!しかもこれが全て無料。

音声は英語ですが字幕が付いているので英語が苦手な人でも安心です。

 

www.tableau.com

 

その2:Tableau Desktop14日間無料トライアルが凄い!

Tableau Desktopというのは、PCにインストールして使用するソフトウェアなのですが、利用に必要なTableau Creatorライセンスを購入すると102,000円(税抜き)/年なのです。。。

 

しかしながら、トライアルとして14日間無料で使うことが出来ます!

トライアル期間中に無料トレーニングビデオで学習すれば基本的な操作方法を

身につけることが可能なんです。

導入を検討するのにハンズオンしてから決められるという訳です。

 

www.tableau.com

 

www.tableau.com

 

その3:Tableau Publicが凄い!

Tableau Publicは、Tableau Desktop Public Editionというソフトウェアを利用する環境全般のことで、Tableau Desktopと同等の機能を持っています。

データを保存する時には、パブリッシュ(Tableau PublicサーバにてWeb公開)する形となるので、企業のデータ等を取り扱うことは出来ませんが、こちらを期限は無く、しかも無料で利用することが可能です。

 

public.tableau.com

 

その4:充実したドキュメントが凄い!

ホワイトペーパーいわゆる白書としてまとめられているドキュメントが多数あり、フォームを登録すれば無料で読むことが出来ます。

 

たとえば、視覚的分析のベストプラクティスというホワイトペーパーには、正しいグラフタイプの選択に必要な情報として、「経時的な傾向」、「比較とランク付け」、「相関性」、「分布」等、分析手段毎にどのグラフタイプが最適であるのかが整理されて記載されています。また、わかりにくいチャートをどうすればわかりやすいチャートにできるのかなどの知見を得ることができます。

 

www.tableau.com

 

Tableau使い始めて間もないですが、これからいろいろな気づきなどをお伝え出来ればと思います!