2019年07月

第3章ではggplot2を使ったグラフの作り方を紹介しています。


【3-1】ExcelにはないRでグラフを作るメリットと特徴

【3-2】ggplot2でグラフを作る流れを説明します

【3-3】Rのggplot2で散布図を作るgeom_point関数

【3-4】Rのggplot2でヒストグラムを作るgeom_histogram関数

【3-5】Rのggplot2で密度曲線を作るgeom_density関数

今回は箱ひげ図(boxplot)を紹介します。

箱ひげ図は正規分布でないデータやマンホイットニーのU検定などノンパラメトリックの検定で使われます。RコマンダーやEZRでも検定と一緒に箱ひげ図が出てきますが、変数名が日本語だと□□と文字化けしてしまいます。Rstudioでggplot関数を使えば文字化け対策やグループ毎に色を付けるなどきれいなグラフが作れます。

1.データの読み込み

今回もggplotパッケージが含まれているtidyverseパッケージを読み込みます。
#tidyverseパッケージをインストールしていなければインストール。していれば次へ

install.packages("tidyverse")

#既にtidyverseパッケージをインストールしている方は以下でもOK

library(tidyverse)

#データ取り込みます。今回はdatという変数にデータを入れます

url <- "https://github.com/mitti1210/myblog/blob/master/heights.csv?raw=true"
dat <- read.csv(url)

このデータはヒストグラムを作る時に作ったデータと同じものを使用しています。



2.箱ひげ図(boxplot)とは?


箱ひげ図は以下のようなグラフです。

スクリーンショット 2019-07-21 23.28.32


棒グラフは「平均値」だけですが、箱ひげ図は「最小値, 第一四分位数, 中央値, 第三四分位数, 最大値」を示します。
また「ひげ」の外にあるデータは「外れ値」として点で表示され、大まかな分布を知ることができます。



3.四分位とは

四分位範囲も含め箱ひげ図で表示されるデータは全て「順位」で決められています。スクリーンショット 2019-07-22 1.00.16

これらはqantile関数で直接求めることができます。



4.箱ひげ図の特徴

(平均ではなく)中央値を比較するのに向いている

箱ひげ図は平均ではなく中央値を表示します。
そのため正規分布でないデータやノンパラメトリックの検定でよく使われます。

スクリーンショット 2019-07-22 1.18.14


簡易的な分布がわかる

棒グラフ±標準偏差ではある程度の分布は示してくれますが、実際今回のデータの最大値・最小値がどうだったのか等は教えてくれません。それに比べ箱ひげ図はある程度の分布を表してくれます。

ただ注意したいのが、データに二峰性の分布があると箱ひげ図でも分布がうまく反映できません。


スクリーンショット 2019-07-22 1.10.06



グラフを使って何を示したいのか?が大切になってきます。


5.箱ひげ図の基本的な作り方

ggplot2でヒストグラムを作る時にはgeom_boxplot関数を使います。
ggplot()+
  theme_gray(base_family = "HiraKakuPro-W3")+
  geom_boxplot(aes(x = 性別, y = 身長), data = dat)
スクリーンショット 2019-07-17 1.12.03

6.線の色を変える

線の色を変える時はcolor = ○○を使います。

ggplot()+
  theme_gray(base_family = "HiraKakuPro-W3")+
  geom_boxplot(aes(x = 性別, y = 身長), color = "red", data = dat)


スクリーンショット 2019-07-17 1.12.10


7.中に色をぬる

中の色はfill = ○○を使います。
ggplot()+
  theme_gray(base_family = "HiraKakuPro-W3")+
  geom_boxplot(aes(x = 性別, y = 身長), fill = "red", data = dat)

スクリーンショット 2019-07-17 1.12.19


色を薄くする時はalpha = ○○を使います。
alphaは0〜1の値を選択します。

ggplot()+
  theme_gray(base_family = "HiraKakuPro-W3")+
  geom_boxplot(aes(x = 性別, y = 身長), fill = "red", alpha = 0.5, data = dat)


スクリーンショット 2019-07-17 1.12.26


8.グループ毎に色を変える

グループ毎に色を指定するにはaes関数の中にcolorやfillを入れます。
ggplot()+
  theme_gray(base_family = "HiraKakuPro-W3")+
  geom_boxplot(aes(x = 性別, y = 身長, fill = 性別), alpha = 0.5, data = dat)


スクリーンショット 2019-07-17 1.12.32

9.応用編:グラフを横にする

グラフの向きを横にするにはcoord_flip()を使います。()の中は何も入れません。

ggplot()+
  theme_gray(base_family = "HiraKakuPro-W3")+
  geom_boxplot(aes(x = 性別, y = 身長, fill = 性別), alpha = 0.5, data = dat)+
  coord_flip()



スクリーンショット 2019-07-17 1.12.38




10.応用編:ひげ(wisker)の求め方


箱ひげ図は「最小値, 第一四分位数, 中央値, 第三四分位数, 最大値」を示します。
ただ上記のグラフのようにひげは外れ値がなければひげの上端・下端が最大・最小値になるのですが、男性のように外れ値があると髭の長さは上記のどれにも当てはまりません。

もしひげの上端(下端)の値が実際何なんなのか?をこちらの記事で紹介しています。



ひげの上端・下端を求める関数を自作しました。もう少し勉強してみたい方はこちらもご参照ください。


11.まとめ

今回は箱ひげ図を紹介しました。

RコマンダーやEZRで納得の行く箱ひげ図にならなかった場合に是非試してみてください。

第1章ではRの基本的な操作について紹介しています。

Rではデータフレームを作ると以下のような形になっています。

スクリーンショット 2019-07-16 23.23.30

「身長」の列には男性も女性も含まれています。

このとき男性だけのデータ、女性だけのデータを取り出したいときもあります。

今回は特定の条件にあう要素を抜き出す方法を紹介します。


1.データの準備

以下のコードを全てコピー
→Rstudioのスクリプト画面に貼り付け
→全て選択してRun(cntrもしくはcommand + Enter)


url <- "https://github.com/mitti1210/myblog/blob/master/data01.csv?raw=true"
dat <- read.csv(url)
head(dat)

datという変数名で上記のデータフレームが完成します。
(全て架空のデータです)


2. [ ]を使う

今回は特定の条件にあう要素を抜き出すには[ ]を使います。
【1-9】医療統計をRで使うために必要な「データフレーム」にの考え方ついてでは$の代わりに[[ ]]を使うと解説しましたが、今回は[[ ]]ではなく[ ]です。



男性の氏名を抜き出すのは下のコードになります。

データフレーム$表示したい列[条件]

dat$氏名[性別 == "男性"]

スクリーンショット 2019-07-16 23.36.30



ここで新たな ==  が出てきました。

条件に関しては基本的には以下の条件式を使います。

スクリーンショット 2019-02-11 2.04.40
A == Bと A %in% Bは似ていますが、Bにあたる部分で==であれば1つしか入りません。
%in%は1つでも複数でも大丈夫です。その際はdat$氏名[性別 %in% c("男性","女性")]のようにc関数を使います。


条件は複数でも可能です。

身長175cmの男性であれば以下のようになります
dat$氏名[性別 == "男性" & 身長 >= 175]
スクリーンショット 2019-07-16 23.52.17



3. filter関数を使う

Rにはデータフレームを扱うのに非常に便利なtidyverse(タイディーバース)パッケージというものがあります。今からRを勉強するのであればtidyverseから勉強したほうがわかりやすく実用的です。

このサイトでも2章・3章でtidyverseパッケージを使ったデータ処理・グラフ作成を紹介しています。
データフレームから特定の行だけを抜き出す関数がfilter関数になりますが、【2-4】Rで指定した列や行だけを取り出すselect関数、slice関数、filter関数を紹介しますで詳しく説明しています。





4.まとめ

今回は特定の条件にあう要素を抜き出す方法について紹介しました。
Rを使っていくとtidyverseパッケージで完結することが多いですが、[ ]は検定や機械学習で訓練モデルとテストモデルに分けるときなどにも使いますので両方使えると便利です。

第3章ではggplot2を使ったグラフの作り方を紹介しています。


【3-1】ExcelにはないRでグラフを作るメリットと特徴

【3-2】ggplot2でグラフを作る流れを説明します

【3-3】Rのggplot2で散布図を作るgeom_point関数

【3-4】Rのggplot2でヒストグラムを作るgeom_histogram関数

今回は密度曲線を紹介します。

密度曲線は馴染みがないヒストグラムと同じくデータの分布を知るのに有効です。
自分は分布の見やすさや相手の提示のしやすさでいうとヒストグラムより好きです。

1.データの読み込み

今回もggplotパッケージが含まれているtidyverseパッケージを読み込みます。
#tidyverseパッケージを読み込みます。

if(!require(tidyverse)) install.packages("tidyverse", repos = "http://cran.us.r-project.org")

#既にtidyverseパッケージをインストールしている方は以下でもOK

library(tidyverse)

#データ取り込みます。今回はdatという変数にデータを入れます

url <- "https://github.com/mitti1210/myblog/blob/master/heights.csv?raw=true"
dat <- read.csv(url)

このデータはヒストグラムを作る時に作ったデータと同じものを使用しています。



2.密度曲線とは?


山(モード)を知るのに便利


下のグラフは正規分布のような形ではなく山が2個あります。

この山のことを「モード」といい、もしかしたら2つ以上の別の集団が潜んでいるのでは?と考えるヒントをくれます。

スクリーンショット 2019-07-14 22.21.16


ちなみにこの密度曲線を男女で色分けすると下のようになります。

スクリーンショット 2019-07-14 22.21.25
なにもかも「正規分布かどうか!?」だけではなく、純粋にどんな分布になっているかをみることも大切だと思います。


面積が1になる

密度曲線は基本面積が1になります。

スクリーンショット 2019-07-14 22.20.21



棒グラフ・ヒストグラム・密度曲線

棒グラフは棒の長さが平均を示す以外情報を持っていません。
ヒストグラムや密度曲線は棒グラフよりも男性と女性の傾向が把握できます。
個人的には密度曲線の方が見やすく感じます。

スクリーンショット 2019-07-14 22.30.45

3.密度曲線の基本的な作り方

ggplot2でヒストグラムを作る時にはgeom_density関数を使います。
ggplot()+
  theme_gray(base_family = "HiraKakuPro-W3")+
  geom_density(aes(x = 身長), data = dat)
スクリーンショット 2019-07-14 22.22.56
スクリーンショット 2019-07-14 22.20.10


ヒストグラムを作るgeom_histogram関数はbinの幅を決めるbins(binwidth)がありますが、geom_densityにもbw = ○○で先の滑らかさを設定する項目があります。bwの数値が増えるとなめらかになるのがわかります。

スクリーンショット 2019-07-14 22.21.47

このbw=○○はgeom_histogramのbinwidth=○○に対応しています。

スクリーンショット 2019-07-14 22.21.53

設定を変えながらちょうどいい数値を見つけてみてください。


4.先の色を変える

線の色を変えるにはcolor = "○○"を使います。

ggplot()+
  theme_gray(base_family = "HiraKakuPro-W3")+
  geom_density(aes(x = 身長), color = "red", data = dat)

スクリーンショット 2019-07-14 22.20.30



5.線の中の入りを塗る

色を塗るにはfill = "○○"を使います。
ggplot()+
  theme_gray(base_family = "HiraKakuPro-W3")+
  geom_density(aes(x = 身長), fill = "red", data = dat)
スクリーンショット 2019-07-14 22.20.39

色を透過させるにはalpha = 0~1の数値をつかいます。
ggplot()+
  theme_gray(base_family = "HiraKakuPro-W3")+
  geom_density(aes(x = 身長), fill = "red", alpha = 0.5, data = dat)
スクリーンショット 2019-07-14 22.20.46

6.グループ毎に色を変える

グループ毎に色を変える場合はaes関数の中にfill = グループを入れます。
上のグラフとfill = ○○の位置が違うことに注目してください。
ggplot()+
  theme_gray(base_family = "HiraKakuPro-W3")+
  geom_density(aes(x = 身長, fill = 性別), alpha = 0.5,  data = dat)
スクリーンショット 2019-07-14 22.20.54


そしてgeom_density関数の特徴なのですが、グループを分けるとそれぞれの面積が1となります。このグラフは女性70人、男性130人で女性の方が少ないのですが、面積はどちらも1なので面積比が人数比と一致していません。

分布をみるにはこれで問題ないのですが、もし面積=人数比にしたい場合はもう1つ処理を加えます。

aes関数の中に y = ..count.. を入れます。そうすることで集計方法が変わります。countの前後に2個ピリオドを入れます。

ggplot()+
  theme_gray(base_family = "HiraKakuPro-W3")+
  geom_density(aes(x = 身長, y = ..count..,  fill = 性別), alpha = 0.5,  data = dat)
スクリーンショット 2019-07-14 22.21.01

縦軸がcount(個数)となりヒストグラムと同じ集計方法になります。


8.応用(密度曲線とヒストグラムを重ねる)

密度曲線とヒストグラムを重ねることができます。
以下のサイトを参考にさせていただきました。

データのhistogramと確率密度関数を同時に描きたい


ポイントは2つあります

①ヒストグラムにy = ..density.. を使う
②geom_histgramのbinwidthとgeom_densityのbwを同じ数字にする

ggplot()+
  theme_gray(base_family = "HiraKakuPro-W3")+
  geom_histogram(aes(x = 身長, y = ..density.., fill = 性別), position = "nudge", alpha = 0.5, binwidth = 2, data = dat)+
  geom_density(aes(x = 身長, fill = 性別), alpha = 0.5, bw = 2 , data = dat)

スクリーンショット 2019-07-15 0.37.32


9.応用編(グループ毎に別のグラフにする)


facet_gridを使うことでグループ毎にグラフを作ることができます。
facet_grid(縦 ~ 横)という表記をします。

facet_gridについて詳しく知りたい時は【3-4】Rのggplot2でヒストグラムを作るgeom_histogram関数もご参照ください。

ggplot()+
theme_gray(base_family = "HiraKakuPro-W3")+ geom_density(aes(x = 身長, y = ..count.., fill = 性別), alpha = 0.5, data = dat)+
facet_grid(性別 ~ .)

スクリーンショット 2019-07-15 0.57.03



10.まとめ

今回は密度曲線について紹介しました。
密度曲線は棒グラフや箱ひげ図ではわからない分布を見ることができますので、いきなり平均や標準偏差の数値だけで判断するのではなく分布をみる習慣をつけてみてください。


11.参考

Introduction to Data Science

データのhistogramと確率密度関数を同時に描きたい





第3章ではggplot2を使ったグラフの作り方を紹介しています。


【3-1】ExcelにはないRでグラフを作るメリットと特徴

【3-2】ggplot2でグラフを作る流れを説明します

【3-3】Rのggplot2で散布図を作るgeom_point関数


今回はヒストグラムを紹介します。


1.データの読み込み

今回もggplotパッケージが含まれているtidyverseパッケージを読み込みます。
#tidyverseパッケージを読み込みます。

if(!require(tidyverse)) install.packages("tidyverse", repos = "http://cran.us.r-project.org")

#既にtidyverseパッケージをインストールしている方は以下でもOK

library(tidyverse)

#データ取り込みます。今回はdatという変数にデータを入れます

url <- "https://github.com/mitti1210/myblog/blob/master/heights.csv?raw=true"
dat <- read.csv(url)




2.ヒストグラムとは?

ヒストグラムはデータの分布を確認することができます。

スクリーンショット 2019-07-12 15.00.10
まず1本1本の縦棒のことを"bin"といいます。
これをみると身長140台〜190台の分布で、170cm付近が一番多そうです。
ただ170cmを中心にすると左右対称ではない印象を受けます。



ヒストグラムを見ることでわかることの例

分布がどうなっているか?

分布には正規分布やポワソン分布など様々な分布があります
正規分布かどうかを確認するときにはヒストグラムで直接データを確認することが必要です。
他にも対数正規分布やポワソン分布など色々な分布があります。


外れ値がないか?

とんでもないところにデータがあれば、それが偶然飛び抜けたデータなのか入力ミスなのか確認することをおすすめします。

カテゴリーごとの分布がわかる

もし山が2つある分布だったとします。
その場合、もしかしたら2つ以上の別のグループが潜んでいるかもしれません。
各グループに分けるとそれぞれのグループで正規分布になっているかもしれません。

また各グループごとの比較をするときにも使えます。
下は同じデータですが棒グラフとヒストグラム、どちらが見やすいでしょうか?

スクリーンショット 2019-07-12 15.57.34




2.ヒストグラムの基本的な作り方

ggplot2でヒストグラムを作る時にはgeom_histogram関数を使います。
ggplot()+
theme_gray(base_family = "HiraKakuPro-W3")+
geom_histogram(aes(x = 身長), bins = 30, data = dat)


スクリーンショット 2019-07-12 17.55.09

ヒストグラムのy軸は個数なので指定の必要がありません。

3.bins, binwidthについて

ヒストグラムはbin1つの幅を指定する必要があります。
幅を変えると見え方が変わります。

bins = binの数を指定する
binwidth = binの幅を指定する

何も指定しないと自動的にbins = 30としてグラフを作ります。


スクリーンショット 2019-07-12 14.58.43
binsの数を減らすと1つの幅が広くなることがわかります。


スクリーンショット 2019-07-12 14.58.48
binwidthを増やすと1本の幅が広くなっているのがわかります。

どのbins(またはbinwidth)がいいかは数字を変えグラフをみて傾向を探りながら見つけてみてください。


4.線の色を赤にする

ggplot()+
theme_gray(base_family = "HiraKakuPro-W3")+
geom_histogram(aes(x = 身長), color = "red", bins = 30, data = dat)

binの周りの線の色を変えるにはcolor="○○"で指定します。
代表的な色なら"red"などが使えますが、color = "#FFFFFF"のような指定もできます。


スクリーンショット 2019-07-12 14.58.26


5.binの色を赤にする

binの中の色を変えるにはfillを使います。

ggplot()+
theme_gray(base_family = "HiraKakuPro-W3")+
geom_histogram(aes(x = 身長), fill = "red", bins = 30, data = dat)
スクリーンショット 2019-07-12 14.58.30

6.alpha = ○○でfillの色を薄くする

ここで周りの線の色を黒にした上で、fillの色を薄くします。
色を薄くするときはalpha = ○○で色を薄くすることができます。
alphaは0〜1の値を入力します。

ggplot()+
theme_gray(base_family = "HiraKakuPro-W3")+
geom_histogram(aes(x = 身長), color = "black", fill = "red", alpha = 0.5, bins = 30, data = dat)

スクリーンショット 2019-07-12 14.59.10



7.グループごとで色分けする

グループごとに色分けするときはaes()の中にfill = グループの列名を入れます。

aes関数に関しては前回の記事のでも説明していますので気になる方はをご参照ください。

fillでグループ分けするときはpositionを指定する必要があります。

①position = "stack" 重ねずに積み上げる
ggplot()+
  theme_gray(base_family = "HiraKakuPro-W3")+
  geom_histogram(aes(x = 身長, fill = 性別), bins = 30, position = "stack", alpha = 0.7,  data = dat)

②position = "nudge" 色を重ねる
色を重ねるときはalpha = で透過率を上げる必要があります。
ggplot()+
  theme_gray(base_family = "HiraKakuPro-W3")+
  geom_histogram(aes(x = 身長, fill = 性別), bins = 30, position = "nudge", alpha = 0.7,  data = dat)

スクリーンショット 2019-07-12 20.40.41

スクリーンショット 2019-07-12 14.59.28


8.応用編(グループ毎に別のグラフにする)

スクリーンショット 2019-07-13 7.53.20

最後にこのグラフのようにグループ毎にグラフを作る方法を紹介します。

グループ毎にグラフを作るときは主に①facet_grid、②facet_wrapの2つがありますが今回はfacet_gridを紹介します。

facet_grid(縦 ~ 横)という表記をします。

ggplot()+
  theme_gray(base_family = "HiraKakuPro-W3")+
  geom_histogram(aes(x = 身長, fill = 性別), bins = 30, position = "nudge", alpha = 1,  data = dat)+
  facet_grid(性別 ~ .)

スクリーンショット 2019-07-13 18.59.42

縦に並べるか横に並べるかですが、次の考え方が参考になります。

水平方向の変化を見るグラフは垂直方向、垂直方向の変化を見るグラフは水平方向

今回のヒストグラムは水平方向の変化なので縦に並べる方が比較しやすいことがわかります。


9.まとめ

今回はヒストグラムの基本的な作り方を紹介しました。

最初に「左右対称ではない?」と書きましたが、男性と女性の2つの分布が重なっていることが原因だとわかります。ちなみにこのデータは男性が173±10cm(130人)、女性が157cm±5cm(70人)を組み合わせたデータでした。

統計になれないとExcelで表を作り平均と標準偏差だけ計算して比較したくなりますが、分析する前に分布を確認する習慣のきっかけになれば幸いです。

↑このページのトップヘ