データの集約
pandas の Series や DataFrame には列について合計や平均、標準偏差などを求める 集約メソッド が用意されています。以下のコードで太陽系の惑星一覧表を取得して DataFrame を作成します (planets.csv は Wikipedia から得たデータを元に作成しました)。
# PANDAS_AGGREGATION_METHODS
# In[1]
import numpy as np
import pandas as pd
# ファイルのパス
u = "https://python.atelierkobato.com/wp-content/uploads/2019/07/planets.csv"
# CSVファイルを読み込んでデータフレームに変換
# 最初の行を列ラベル、左の列を行ラベルに設定
planets = pd.read_csv(u, encoding="SHIFT-JIS",
header=0, index_col="惑星")
print(planets)出力する表はこのサイトのページ幅に収まらないので、実行結果の掲載は割愛します。drop()メソッドを使って、いくつかの項目を削除しておきます。
# In[2]
# 削除する項目のリスト
drop_list = ["軌道傾斜角", "軌道離心率",
"表面重力", "自転周期", "衛星数"]
# リストにある項目をすべて削除
planets = planets.drop(drop_list, axis=1)
print(planets)半径 質量 軌道長半径 公転周期 惑星 水星 2440 0.06 0.387 0.241 金星 6052 0.82 0.723 0.615 地球 6378 1.00 1.000 1.000 火星 3396 0.11 1.524 1.881 木星 71492 318.26 5.204 11.862 土星 60268 95.14 9.582 29.457 天王星 25559 14.54 19.201 84.011 海王星 24764 17.09 30.047 164.790
これで準備が整いました。いくつかの集約メソッドを試してみましょう。
たとえば、mean()メソッドは列ごとに平均値を計算します。
# In[3]
# 列ごとに平均値を計算
p_mean = planets.mean()
print(p_mean)半径 25043.625000 質量 55.877500 軌道長半径 8.458500 公転周期 36.732125 dtype: float64
min()メソッドは列ごとに最小値を抽出します。
# In[4]
# 列ごとに最小値を抽出
p_min = planets.min()
print(p_min)半径 2440 質量 0.06 軌道長半径 0.387 公転周期 0.241 dtype: object
cumsum()メソッドは列ごとに累積和を計算します。これによって、内惑星 (水星、金星、地球、火星) の質量の和などを知ることができます。
# In[5]
# 列ごとに累積和を計算
p_cs = planets.cumsum()
print(p_cs)半径 質量 軌道長半径 公転周期 惑星 水星 2440.0 0.06 0.387 0.241 金星 8492.0 0.88 1.110 0.856 地球 14870.0 1.88 2.110 1.856 火星 18266.0 1.99 3.634 3.737 木星 89758.0 320.25 8.838 15.599 土星 150026.0 415.39 18.420 45.056 天王星 175585.0 429.93 37.621 129.067 海王星 200349.0 447.02 67.668 293.857
idxmax()メソッドは列ごとに最大値のインデクス (行ラベル) を取得します。
これを使って、最大質量をもつ惑星や公転周期が最も長い惑星などを検索できます。
# In[6]
# 最大値の行ラベルを参照
p_imax = planets.idxmax()
print(p_imax)半径 木星 質量 木星 軌道長半径 海王星 公転周期 海王星 dtype: object
pandas の代表的な集約メソッドをまとめておきます。
| 集約メソッド | 説明 |
|---|---|
| sum() | 総和 |
| cumsum() | 累積和 |
| min() | 最小値 |
| max() | 最大値 |
| idxmin() | 最小値のラベル |
| idxmax() | 最大値のラベル |
| mean() | 平均値 |
| median() | 中央値 |
| std() | 標準偏差 |
| var() | 分散 |
| mad() | 平均絶対偏差 |
| diff() | 差分 |
describe()メソッド を使うと、列ごとにデータ数 (count), 平均値 (mean), 標準偏差 (std), 最小値 (min), 最大値 (max) などの統計データをまとめて取得できます。
# In[7]
# すべての項目について要約統計量を取得
p_dsb = planets.describe()
print(p_dsb)半径 質量 軌道長半径 公転周期 count 8.000000 8.000000 8.000000 8.000000 mean 25043.625000 55.877500 8.458500 36.732125 std 26958.123196 110.755751 10.836593 59.079845 min 2440.000000 0.060000 0.387000 0.241000 25% 5388.000000 0.642500 0.930750 0.903750 50% 15571.000000 7.770000 3.364000 6.871500 75% 34236.250000 36.602500 11.986750 43.095500 max 71492.000000 318.260000 30.047000 164.790000
50% は中央値 (median), 25% と 75% はそれぞれ 1/4分位数、3/4分位数です。