pandas.concat()

pandas.concat()でデータセットを連結する

pandas.concat() は DataFrame や Series の連結に用いられる関数です（”concat” は「連結」や「結合」を意味する “concatenate” の略です）。
最初に重複ラベルのない Series 同士を連結してみます。

# PANDAS_CONCAT

# In[1]

import numpy as np
import pandas as pd

# Seriesオブジェクトを作成
s1 = pd.Series(["E01", "E02"], index=list("ab"))
s2 = pd.Series(["E03", "E04"], index=list("cd"))

# pandas.concat()でs1とs2を列方向に連結する
s3 = pd.concat([s1, s2])

print(s3)
# a    E01
# b    E02
# c    E03
# d    E04
# dtype: object

次はラベルが完全一致する Series 同士の連結を試してみます。

# In[2]

# Seriesオブジェクトを作成
s4 = pd.Series(["E1", "E2"], index=list("ab"))
s5 = pd.Series(["E3", "E4"], index=list("ab"))

# pandas.concat()でs4とs5を連結
s6 = pd.concat([s4, s5])

print(s6)
# a    E1
# b    E2
# a    E3
# b    E4
# dtype: object

このように、Series は重複ラベルを許容します。
重複ラベルにアクセスすると、対応するすべての要素が返ります。

# In[3]

# 重複ラベルにアクセス
print(s6["a"])
# a    E1
# a    E3
# dtype: object

しかし、データ分析の実践においては重複ラベルはトラブルのもとなので、なるべく避けたほうがよいでしょう。ignore_index を True に設定すると、古いラベルを破棄して新しいラベルを割り当てます。

# In[4]

# pandas.concat()でs4とs5を連結して新しいラベルを作成
s7 = pd.concat([s4, s5], ignore_index=True)

print(s7)
# 0    E1
# 1    E2
# 2    E3
# 3    E4
# dtype: object

自分でラベルを設定したい場合は、index 属性にアクセスして書き換えます。

# In[5]

# インデクス変更
s6.index = ["a", "b", "c", "d"]

print(s6)
# a    E1
# b    E2
# c    E3
# d    E4
# dtype: object

次は pandas.concat() を使って、ラベルが重複する DataFrame 同士を連結してみます。デフォルトでは列方向 (縦方向) に連結されます。

# In[6]

df1 = pd.DataFrame([["E01", "E02"],
                    ["E03", "E04"]],
                   index = [1, 2], columns=list("ab"))

df2 = pd.DataFrame([["E05", "E06"],
                    ["E07", "E08"]],
                   index = [3, 4], columns=list("ab"))

# pandas.concat()でdf1とdf2を列方向に連結する
df3 = pd.concat([df1, df2])

print(df3)
#      a    b
# 1  E01  E02
# 2  E03  E04
# 3  E05  E06
# 4  E07  E08

行方向 (横方向) につなぐ場合は axis キーワードに 1 を渡します。

# In[7]

# concat()関数でdf1とdf2を行方向に連結する
df4 = pd.concat([df1, df2], axis=1)

print(df4)
#      a    b    a    b
# 1  E01  E02  NaN  NaN
# 2  E03  E04  NaN  NaN
# 3  NaN  NaN  E05  E06
# 4  NaN  NaN  E07  E08

対応するデータがない部分 (欠損値) は自動的に NaN で埋められています。
 
次は列ラベルの一部が重複する DataFrame を連結してみます。

# In[8]

# DataFrameを作成
df5 = pd.DataFrame([["E01", "E02", "E03"],
                    ["E04", "E05", "E06"]],
                   index = [1, 2],
                   columns = list("ABC"))

df6 = pd.DataFrame([["E07", "E08", "E09"],
                    ["E10", "E11", "E12"]],
                   index = [3, 4],
                   columns = list("BCD"))

# df5とdf6の和集合
df7 = pd.concat([df5, df6], sort=True)

print(df7)
#      A    B    C    D
# 1  E01  E02  E03  NaN
# 2  E04  E05  E06  NaN
# 3  NaN  E07  E08  E09
# 4  NaN  E10  E11  E12

このように、pandas.concat() による連結はデフォルトで和集合をとるように設定されています (join=”outer”)。すなわち、ラベルはすべて用いられ、該当する要素がない場合は欠損値として NaN が当てられます。
 
join=”inner” に設定すると積集合をとります (共通するラベルを抽出します)。

# In[9]

# df5とdf6の積集合
df8 = pd.concat([df5, df6], join="inner", sort=True)

print(df8)
#     B    C
# 1  E02  E03
# 2  E05  E06
# 3  E07  E08
# 4  E10  E11