今回はPythonを使ってData visualizationをやります。

Excelでいいじゃん。

その通りです。ExcelだろうがPythonだろうが、データが同じであれば見える化される表やグラフも同じです。違いは機械学習に進んだ時、見えてきます。機械学習のステップに進んだ時、基礎でつまずかないために、今のうちにマスターしておきましょう。

まずは、前回作ったExcelをDLしてください。

次に、Python編1で使ったGoogle Colabを開いていただきます。

こんな画面になってますか？

今回は、私の方で全部コードを用意しておきましたが、手を動かしながら覚えたい方は、画面左上のファイルから新しいBookを開いてください。

では１つ１つコードを走らせます。まず１つ目のブロック。

この「import」群は、Pythonにさまざまなツールを読み込んでいます。Pyhonを皆さんのパソコンと捉えるならば、エクセル、ワード、パワポなんかをDLしインストールして初めて使い物になりますよね？

それと同じです。Pythonも新しいプロジェクトごとにInstallしたり、DLしたりします。

さて、このコードの左斜め上再生ボタンを押していただくと、このコードが走り出します。押してみてください。コードの下にこんな選択肢が出てくるはずです。「Choose Files」をクリックし、先程D Lした前回までのエクセルを選択ください。

すると、こんな画面に切り替わります。これで、ExcelデータをPythonに読み込むことに成功しました。

次のコードブロックも一緒に見てみます。全部アルファベットで書いてあるので、ややこしいですが、Excelファイルの名前（Python編2_Datav Visualization.csv)が、Python上でもそのまま引き継がれます。

毎回これだけ長い名前を打つのが大変なので、このファイル名をfile_name変数に埋め込みます。数学で x に何かを代入するのと全く同じです。

２行目のdf =... から始まるコードは、Python上にこのエクセルを編集可能な形で読み込め、と指示していると考えていただければと思います。再生ボタンを押してください。

一覧表が出てきましたか？なりましたか？次です、前回はこんなダッシュボードを作りました。これをPython上でやってみます。

Google Colabで次のコードブロックを見てみてください。何やらたくさん書いてありますね。コードの詳細は一旦後回しにしまましょう。

ここで体感してもらいたいのは、Excelではほんの少しの作業で作れる基礎的なグラフも、Pythonで作ろうとすると思った以上の労力がかかる、ということです。今回のポイントの一つ目です。

さて、このコードブロックを走らせてみましょう。再生ボタンです。

50点くらいの仕上がりのダッシュボードができましたね。Pythonでやったからといって別に綺麗なわけでもない。取り越し苦労なのか。そんなことはありません。次のポイントが重要だからです。次のコードブロックを見てください。

先程走らせたコードとほぼ同じですね。唯一の違いは、１行目objに代入した列の名前だけです。先程は、売り上げを対象にダッシュボードを作りましたが、新たなコードは、商品数を対象としています。

商品数を対象としたダッシュボードができました。またもや50点の出来栄えですが、１箇所変えるだけで新しいダッシュボードが数秒でできるわけですから、Pythonでやるメリットが少し感じられたのではないでしょうか。

最後にもう１つだけ、一番下のコードブロックを見てください。

１行目の def dashboard_sample(obj, cl): 以外今しがた走らせたコードと何一つ変わりません。プログラミングっぽくなってきましたね。

これは、グラフを作る一連の作業を、次回以降、dashboard_sampleの括弧内(obj, cl)に列名を入れだけでグラフが作成されるようにしたものです。ExcelのSum(xx)関数のもっと便利なやつを作ったみたいなものです。

このコードブロックの下に、実験用のコードも残してありますので、実際に走らせてみてください。

いかがでしょう。全く同じダッシュボードがいとも簡単に出来上がりました。今はしらせたコードはわざわざ　obj やcl に代入せずとも、直接dashboard_sample()に打ち込んでも構いません。

ではまた！

今回も引き続き、Data visualizationをやります。パッと見せられる表やグラフを作ります。素早くストレスなく作れるようになるべく、まずはプロセスに拘りますね。

ではまず、前回作ったエクセルを開いてください。

「ダッシュボード」タブに、スーパーの売り上げ合計、38565が表示されているかと思います。今回はすぐに、作業に移ります（前回のおさらいが必要な方はこちらご参照）。

• 38565があるセル（上記リンクからDLした場合は、C4）をクリック
• F2ボタン　（もしくはダブルクリックで数式編集）
• Ctr+Shift+矢印上↑
• Ctr+C
• Esc
• 矢印下↓
• F2ボタン（もしくはダブルクリックで数式編集）
• Ctr+V
• 数式内SumをAverageへ変更
• Enter

これで数式の参照範囲を変えずに平均値を出せます。

同じプロセスで一つ下のセル（C6)に、Averageから、stdevに変更してみてください。瞬く間に、過去11日間の合計、平均、標準偏差（ばらつき）が算出できました。

このまま、E4に「男性」E5に「女性」とベタ打ちしてください。

• F4セルに =SUMIF(メイン!D2:D32,ダッシュボード!E4,メイン!G2:G32) を入力（コピペで大丈夫です）

•  F5セルに =SUMIF(メイン!D2:D32,ダッシュボード!E5,メイン!G2:G32) を入力

1. F4セルをクリック
2. F2ボタン　（もしくはダブルクリックで数式編集）
3. Ctr+Shift+矢印上↑
4. Ctr+C
5. Esc
6. 矢印下↓
7. F2ボタン（もしくはダブルクリックで数式編集）
8. Ctr+V
9. 式内「ダッシュボード!E4」を「ダッシュボード!E5」へ変更

• 画面左下のタブで、「ダッシュボード」に移動
• E4からF5を選択

• 画面上部の「挿入」（左から二番目）から１つ目の円グラフを選択

• 画面左下のタブで、「メイン」タブに移動してください
• G2をクリック
• Ctr+Shift+矢印下↓
• 画面上部の「挿入」（左から二番目）から１つ目の折線グラフを選択
• グラフをクリック
• Ctr+X
• 「ダッシュボード」タブに移動
• Ctr+V

• 画面左下のタブで、「追加」に移動してください
• A1をクリック
• Ctr+Shift+矢印下↓
• Ctr+Shift+矢印右→
• Ctr+C
• Ctr+
• PageUpで「メイン」へ移動
• A13で、Ctr+V

これでデータ集計の範囲が広がり、過去男女ごとの過去30顧客来店売り上げデータを集計できました。

最後に、

• 折線グラフのグラフ線をクリック
• 画面上部の数式バーに「=SERIES(,,メイン!$G$2:$G$12,1)」を=SERIES(,,メイン!$G$2:$G$32,1)へ変更

これで、直近30来店顧客についての、ダッシュボードがなんとなく形になりました。

今回のExerciseには含めませんが、最初に作った合計、平均、標準偏差、にはどういった影響があるか見てみます。やり方は簡単で、それぞれの数式内のD13とG13をD32、G32に変えるだけです。

みなさんは何に気づかれましたでしょうか？

合計は増加、平均は減少しました。

また、データのばらつき（偏差）も減少しましたね。これは今回だけに限った話ではなく、サンプルデータが少ない時ほどばらつきが大きくなる傾向があります。サンプルという言葉の由来は、何千といる顧客の中から、直近11、30顧客をサンプリングしているので、統計やデータサイエンスの世界ではこう呼んでいます。また、30、という数字も後々大事な基準となってきます。

勿論、まだダッシュボードとして全然面白いものではありません。そもそも直近顧客１人１人のデータを折線でプロットすることにほぼ意味はありません。

今回の目的は、グラフを作るという作業効率向上、ダッシュボードという独立したフォーマットによる見える化のプロセス、一連の「流れ」を体感してもらうことでした。

本来Visualizationの持つ力はこんなものではありません。そもそも Visualizationは、最終的な決断に結びつくものでなければ意味がありません。男女別の購入金額を知ったところで、明日から女性客だけに注力する、もしくは男性客の客足を伸ばす、という決断に至る程の材料ではないからです。

具体的な内容は、ここでとやかく言うより、今後具体例をお見せしながら議論させていただきます。

ではまた！お疲れ様でした。

今回は、Data visualizationをやります。Data Visualizationは一般的に言われているData Scienceの中でも最も重要なTopicです。

ビジネスを初めとするデータを扱う環境では、まず集めたデータの全体像（例えば合計値やデータのばらつき等）やジャンルごとの部分像（例えば、日中は女性の方が多い、男性客の方が来店毎の商品数が多い等）を周知する機会が多いです。

自分の上司や顧客に対して、高度な統計値だけ見せてプレゼンするのは、センスがありませんよね？

一方、ここまでカラフルである必要はありませんが、下図の様に様々な切り口で全体感をインプットした後で、

「これが集計したサンプルデータの全体像です。

これを元に、統計手法を使って検証したところ、95％の確率で正しいと言えますので、私たちの現場感は実態から程遠くないでしょう。」

と言えたら、どうでしょう？　最終的にはこのレベルまでお連れいたします。

我々の世界ではこういったレポートをダッシュボード（Dash Board）と呼びます。車の運転席の目の前のダッシュボードも一目で状況を掴めますよね？

ポイントは、このダッシュボードをプレゼンの度に毎回作るのではなく、時事刻々と自動でアップデートさせることができるということです。

設計次第で、事務職の方がデータベースにデータを入力する度に、総合職（営業職）の方のダッシュボードがアップデートされます。そのインフラ整備の手法も先々お伝えしますね。

＜本題＞

さて、本日の課題はこちらです。まずは、こちらのデータベースをダウンロードしてください。前回作成したデータベースにいくつかデータが入力されています。画面左下に、「メイン」「追加」と書かれたタブがあることご確認ください。

メインに6つのデータエントリー

「追加」に、5つのデータエントリーがあることも確認できたら、一度、「メイン」タブに戻ってください。

まずは売り上げの合計をします。以下のプロセスを大事にしてください。

• セルG8を選択
• =sum(　と入力
• Ctr + Shift + 矢印キー上 
• Shift +  矢印キー下
• Enter
• 再度セルG8を選択
• Ctr + X
• セルH8を選択
• Ctr + V
• F2
• 「=SUM(G2:G7)」を「=SUM(G2:G13)」へ
• Enter

で完了です。下図のようになっていれば正解です。

次に「追加」タブに移動してください。この時にできれば、Ctr＋Page Downで移動してみてください。

• セルA1を選択
• Ctr + Shift + 矢印キー下
• Ctr + Shift + 矢印キー右

こうなってますか？

• Ctr + C
• 「メイン」タブに移動　（できればCtr＋Page Up)
• セルA8を選択
• Ctr + V

こうなってますでしょうか？

先程作ったSum関数（セルH8）もアップデートされていますね？

• 画面左下の「 + 」ボタンで新しいシートを作成し、

• ダッシュボードと名付け
• 「メイン」のH8をCtr+Xで切り抜き
• 「ダッシュボード」のどこかにCtr+Vで貼り付け
• その左横に「合計」とラベル付け

これで直近11来店客データの合計を表示するダッシュボードが完成です。

直近11がいいのか、20がいいのか。合計を見るべきか、平均を見るべきか、ビジネス特性や読み手によります。

例えば、スーパーの陳列担当者であれば、直近の来客の購入合計金額気になるかと思います。陳列がうまく機能していないなら、早く構成を考え直したくなるはずです。

一方、スーパーの店長であれば１週間の売り上げ平均が気になるはずです。火曜にセールがあったり、土日にしかこれないお客さんもいるわけで、刻一刻、日々の動きにだけ一喜一憂するわけにもいきませんので。

全く違うビジネス、例えば自動車メーカーであれば、車の買い替えサイクル、5-10年毎の動きが気になるんではないでしょうか。

お気づきかと思いますが、ビジネスの内容をよくわかってないと、そもそも何をVisualize(表現）していいかわかりませんね？　これこそ正に、「皆さんが他の人に一から説明するよりも、皆さんがデータサイエンスの技術を習得した方が、効率も効果も高い」と初回に申し上げた理由です。

次回も引き続きExcelベースの実践です。ある程度Excelでダッシュボードを形にした後、Pythonで複製する流れです。

ではまた！

今回のお題も引き続きデータベースデザインです。前回Excelで作った量販店の売り上げ情報のデータベースをPythonで作ってみます。

StarbuckなんかでMacbook広げながら何やら不思議な宇宙語を見かけたことが一度はあるんじゃないでしょうか。

そうです。Pythonもしくはプログラミングが初めて、という方も、今日がその第一歩になります。

でも安心してください。簡単です。

プログラミングは本来、簡単で他の人が後から見てわかりやすくあるべきものです。会社の書類と同じです。エンジニアにとっては、書いたコードが、皆さんのプレゼン資料に匹敵する資料ですので。

会社の資料にひけらかさんばかりに小難しい表現ばかり使っていたら、一昔前までは上司の赤ペンだらけで資料が返ってきたものだと思います。

プログラミングコードは、簡潔に、分かりやすく、再現性を持って、書くことを意識したいと思いますが、初めの方は、再現性は度外視します。なぜなら、やったこともないのに再現の仕方なんかわかるわけないからです。

それでははじめます。

Google Colabを使います（Googleアカウントが必要です）。

まずは、WebブラウザーでGoogle Colabを検索するか、こちらをClickしてください。

こんな画面が出てくると思います。

何も読まなくて大丈夫です。左上の「File」メニューから、「New notebook」を選択しましょう。GoogleへのSinginを求められるので、ご自身のGoogleアカウントでログインしてください。

画面左上にベタ打ちで名前変更できるので、お好きな名前に変更してみてください。

おめでとうございます！Python設定完了です！

今回保存されたPythonファイルは、Google Drive内の「Colab Notebooks」に保存されているかと思います。プログラミング中自動保存もされますが、Ctr＋Sで自分で途中経過を保存することもできます。

また、今回同様、「Colab」と検索して開いた場合でも、こんな風に最近編集したコードが表示されますので、とても便利です。

では、Pythonでデータベースを作ります。これが今回の完成形ですが、ステップバイステップで進めていきます。

まず１行目、

import pandas as pd

と打ち込みます。コピペしてくださって結構ですが、体で覚えたい方は、手打ちしてみてください。Alt＋Enterで、コードが実装されます。まだ、何も出てこないです。（Ctr+Enterで実装だけされますが、これだと次のコード欄が出てこないので、Atl+Enterがおすすめです）

*次の行を追加したい場合は、左上の　+Codeを押してください。

次に、

col=["番号","店舗", "客層", "性別", "カテゴリー", "商品数", "売り上げ"]

を打ち込みます。データベースの列名の両サイドを””で囲います。Shift＋2で出てくるやつです。打ち終えたら、Alt＋Enter。

最後に、

df=pd.DataFrame(columns=col)

を打ち込んで、Alt＋Enter。

これでデータベース完成です！

一番大事なのが作ったデータベースをどう見るか。

それは、次の行に

df

とだけ打ち込んで、Alt＋Enterしてみてください。これが出てくれば、成功です！

前回Excelで作ったものと全く同じデータベースができましたね！

次回は、作ったデータベースにデータを入力し、Data-Visualizationを実装したいと思います。こういうやつです：

（参照：The Top 10 Types of Data Visualization Made Simple）

今日のお題はデータベースデザインです。宣言通り5分で終わる内容です。私はこの記事を30分に書き終えることを目標にしています。

データベースデザインと聞くと、大袈裟に聞こえるかも知れませんが、これも簡単です。要はExcelを綺麗に書くのことです。より正確にいえば、繰り返し使い続けられる形、が理想ですが、最初から完璧を求めるとこれまた別のメソッドが必要になるので、やりながら綺麗にしていきましょう。経験に勝るものはありません。

でははじめます。

まず、Excelを開いてください。

イメージしやすい量販店の売り上げ情報のデータベースを作ります。１行目の左から順に「番号」　「店舗」 「客層」  「性別」    「カテゴリー」    「商品数」    「売り上げ」を入力してください。

お疲れ様です。データベースデザインの一番苦労する部分が終わりました。明日からは、伝票を見ながら、ここに新しい売り上げデータを打ち込んでいくだけでいいからです。試しにいくつかデータを入力してみてください。

私はこんな風にしてみました。

データベースはこれが基本形です。巷で聞く、RやPythonで作り・使うデータベースもこの型を基本としています。

残念なことに、時々オフィスでは、こんな書き方をしてしまう人がいますね。

１画面で全部見えるよう、同じ種類の列名（題名みたいなもの）をもう１セット横に作ってしまって。１画面で見えやすい、という意味ではこの形の方がいいことは賛成しますが、これではデータベースのデザインが定まらず、本来のデータベースの力を発揮できません。

なぜ、データベースをこの形に１行１行書くのか、理屈は色々ありますが、それがわかったところでなんの役にも立たないので、ここでは割愛します。簡単にいえば、要は縦に書いてください、の一言です。

次回は、これをPythonで作ってみましょう。

「オフィスで働く誰もがデータサイエンティストになれる」ことを願って書きますので、ここでお伝えするスキルは職場でどんどん実践してください。小さなプロジェクトから始めて、大きなプロジェクトに繋げるシリーズにしますが、1記事5分で読めるボリュームにしますので、忙しい人もコツコツ続けてください。言うまでもなく、技術的なスキルは継続的にやることが近道です。

初回なので、この記事を始める動機について少しお話しします。私は最近まで10年間一般企業に勤めていました。東京に5年間、海外に5年間。リスク管理を4年、営業を6年です。

この10年の間にAI、IoT、DXという分かるようで分からない曖昧な言葉が飛び交うようになりました。業種を問わず、各企業がAI、次世代ビジネス、DXへの興味関心が高まっていることを皆さん肌で感じていることかと思います。でも正直自分の仕事には関係ない、今まで通り、と思う方も多いのかなと思います。

データサイエンス、エンジニアリングなんて言葉は私の履歴書には一切出てきませんが、この10年間ずっとプログラミングをツールとして使ってきました。子供の頃からプログラミング言語に触れていたのはアドバンテージですが、今時では、殆どがネット検索で出てきたサンプルコードをコピペするだけで動きますので、安心してください。

では何を学ぶのかといえば、フレームワークと発想を具現化するメソッドです。

フレームワーク：朝起きで、準備し、通勤するまで、大体毎日同じルーティンをこなしますよね？そしてそのルーティンはだんだん効率良くなります。それは時と共にノウハウが無意識で培われてきたからですね。データサイエンス、システムエンジニアリングも同じです。簡単なコツがあります。

発想の具現化：新しいアプリをDLして新規登録する状況を想像してみてください。大体どのアプリや会員登録でも同じことを聞かれますよね？では今度は、会員登録情報を設計してください、と聞かれたらどうでしょうか？大方、同じ項目を思いつくことかと思います。この記事で言う発想の具現化は応用力です。具体例を以ってプロジェクトを進めていくので、ここでやった設計を、自分の職場の似たようなタスクに落とし込んでみよう、と思っていただければ幸いです。これも広義でのコピペですので、簡単です。

さて、本題の同期です。それは、データサイエンスや機械学習は本来、「簡単」で「身近」にできるものなのに、崇高なものとして扱われていて、もったいないと思うからです。米国をはじめ海外では、Data Scientistという職種がIT企業だけでなく、伝統的な企業を含む様々な企業で募集されています。Harvard Business Reviewでは、「Data Scientist: The Sexiest Job of the 21st Century」と呼ばれています。Data Scientistは本来、高度な統計技術を使って解を導き出します。一見魔術師化のように聞こえるかもしれませんが、彼らが高度な技術を使うためには、整理されたデータが必要で、データが生まれた「ビジネスを理解する必要」があります。

ここで少し、彼らはどうやってビジネスを理解するのか考えてください。ビジネスの現場にいらっしゃる皆さんならすぐわかると思いますが、現場にいること、現場からの声に勝る情報はありません。本で読んだ知識と統計で作られた答えをお客さんのところに持って行ったらどうなるか、想像するまでもないでしょう。結局彼らも現場にいる皆さんにお伺いしながら、答えを出していかなければいけません。

つまり、皆さんが他の人に一から説明するよりも、皆さんがデータサイエンスの技術を習得した方が、効率も効果も高いと私は考えています。また、資料やデータが整理され、何よりプログラムを組むことで多くの作業が自動化されるため従来の仕事も楽になりますので、いいことづくめです。これこそ正に、私がリスク管理や営業の一見関係ない畑で、プログラミング言語を自ら使い続けてきた理由です。

Learning Curveをなだらかにするために、まず最初は皆さんが普段使いするExcelから始めます。Excelでプロジェクトの目的を明確化した後、同じ内容をPythonで実装します。順序は逆になりますが、これら２ステップの目的は、そもそもExcelで大体のことはできることをお伝えしたいのです。そして最後に、Pythonが持つ機能を使って機械学習を実装します。まずはこの１サイクルをやり通すことで、このブログの意義を体感してもらいます。追加で補足が必要な部分は後から埋めていきます。

長くなりましたが、結論、誰でもデータサイエンティストになれます。誰もがデータサイエンスの力を享受すべきです。あなたのデスクで、今日からInnovationを起こしていきましょう。