データの集約と要約統計量
pandas の Series や DataFrame には列について合計や平均、標準偏差などを求める 集約メソッド が用意されています。以下のコードで太陽系の惑星一覧表を取得して DataFrame を作成します (planets.csv は Wikipedia から得たデータを元に作成しました)。
# PANDAS_AGGREGATION_METHODS
# In[1]
import numpy as np
import pandas as pd
# ファイルのパス
u = "https://python.atelierkobato.com/wp-content/uploads/2019/07/planets.csv"
# CSVファイルを読み込んでデータフレームに変換
# 最初の行を列ラベル、左の列を行ラベルに設定
planets = pd.read_csv(u, encoding="SHIFT-JIS",
header=0, index_col="惑星")
print(planets)出力する表はこのサイトのページ幅に収まらないので、実行結果の掲載は割愛します。drop()メソッドを使って、いくつかの項目を削除しておきます。
# In[2]
# 削除する項目のリスト
drop_list = ["軌道傾斜角", "軌道離心率",
"表面重力", "自転周期", "衛星数"]
# リストにある項目をすべて削除
planets = planets.drop(drop_list, axis=1)
print(planets)
'''
半径 質量 軌道長半径 公転周期
惑星
水星 2440 0.06 0.387 0.241
金星 6052 0.82 0.723 0.615
地球 6378 1.00 1.000 1.000
火星 3396 0.11 1.524 1.881
木星 71492 318.26 5.204 11.862
土星 60268 95.14 9.582 29.457
天王星 25559 14.54 19.201 84.011
海王星 24764 17.09 30.047 164.790
'''これで準備が整いました。いくつかの集約メソッドを試してみましょう。
たとえば、mean()メソッドは列ごとに平均値を計算します。
# In[3]
# 列ごとに平均値を計算
p_mean = planets.mean()
print(p_mean)
# 半径 25043.625000
# 質量 55.877500
# 軌道長半径 8.458500
# 公転周期 36.732125
# dtype: float64min()メソッドは列ごとに最小値を抽出します。
# In[4]
# 列ごとに最小値を抽出
p_min = planets.min()
print(p_min)
# 半径 2440
# 質量 0.06
# 軌道長半径 0.387
# 公転周期 0.241
# dtype: objectcumsum()メソッドは列ごとに累積和を計算します。これによって、内惑星 (水星、金星、地球、火星) の質量の和などを知ることができます。
# In[5]
# 列ごとに累積和を計算
p_cs = planets.cumsum()
print(p_cs)
'''
半径 質量 軌道長半径 公転周期
惑星
水星 2440.0 0.06 0.387 0.241
金星 8492.0 0.88 1.110 0.856
地球 14870.0 1.88 2.110 1.856
火星 18266.0 1.99 3.634 3.737
木星 89758.0 320.25 8.838 15.599
土星 150026.0 415.39 18.420 45.056
天王星 175585.0 429.93 37.621 129.067
海王星 200349.0 447.02 67.668 293.857
'''idxmax()メソッドは列ごとに最大値のインデクス (行ラベル) を取得します。
これを使って、最大質量をもつ惑星や公転周期が最も長い惑星などを検索できます。
# In[6]
# 最大値の行ラベルを参照
p_imax = planets.idxmax()
print(p_imax)
# 半径 木星
# 質量 木星
# 軌道長半径 海王星
# 公転周期 海王星
# dtype: objectpandas の代表的な集約メソッドをまとめておきます。
| 集約メソッド | 説明 |
|---|---|
| sum() | 総和 |
| cumsum() | 累積和 |
| min() | 最小値 |
| max() | 最大値 |
| idxmin() | 最小値のラベル |
| idxmax() | 最大値のラベル |
| mean() | 平均値 |
| median() | 中央値 |
| std() | 標準偏差 |
| var() | 分散 |
| mad() | 平均絶対偏差 |
| diff() | 差分 |
pandas.DataFrame.describe
DataFrame の describe() メソッドを使うと、列ごとにデータ数 (count), 平均値 (mean), 標準偏差 (std), 最小値 (min), 最大値 (max) などの統計データをまとめて取得できます。
# In[7]
# すべての項目について要約統計量を取得
p_dsb = planets.describe()
print(p_dsb)
'''
半径 質量 軌道長半径 公転周期
count 8.000000 8.000000 8.000000 8.000000
mean 25043.625000 55.877500 8.458500 36.732125
std 26958.123196 110.755751 10.836593 59.079845
min 2440.000000 0.060000 0.387000 0.241000
25% 5388.000000 0.642500 0.930750 0.903750
50% 15571.000000 7.770000 3.364000 6.871500
75% 34236.250000 36.602500 11.986750 43.095500
max 71492.000000 318.260000 30.047000 164.790000
'''50% は中央値 (median), 25% と 75% はそれぞれ 1/4分位数、3/4分位数です。