TensorLy で テンソル分解

TensorLyは、Pythonでシンプルで高速なテンソル学習ができるパッケージです。

インストール

pipやcondaでインストールできます。

pip install -U tensorly

conda install -c tensorly tensorly

テンソルの作成

Numpy 配列から変換できます。３次のテンソル（$3 \times 4 \times 2$）を作成します。

import tensorly as tl
import numpy as np

tensor = tl.tensor(np.arange(24).reshape((3, 4, 2)), dtype=tl.float64)
print(tensor)

[[[ 0.  1.]
  [ 2.  3.]
  [ 4.  5.]
  [ 6.  7.]]

 [[ 8.  9.]
  [10. 11.]
  [12. 13.]
  [14. 15.]]

 [[16. 17.]
  [18. 19.]
  [20. 21.]
  [22. 23.]]]

テンソル分解とは？

テンソルをより次数の少ないテンソルの積和で表現する手法です。行列分解のテンソルへの拡張とも言えます。分解したテンソルは元のテンソルの特徴を集約して表現するため、画像処理や言語処理などに用いられています。

参考：

• テンソル分解（Wikipedia）
• 2014 3 13(テンソル分解の基礎)
• 関係データの機械学習　ー行列と多次元配列の解析ー
• TensorLy User guide: 4. Tensor decomposition

CP分解（Canonical Polyadic Decomposition）

CP分解は、PARAFAC や CANDECOMP とも呼ばれる方法で、テンソルを次数と同じ数のベクトルの積の和で表す方法です。３次のテンソルの場合、以下のような演算が成立するように分解されます。

このとき、$a$ をまとめてベクトル、行列として表示できます。

３次のテンソル（$3 \times 4 \times 2$）を $R=2$ で CP分解すると、因子$A^{(m)}$ は（$3 \times 2$）と（$4 \times 2$）と（$2 \times 2$）になります。

TensorLy では、tensorly.decomposition.parafac で CP分解ができます。因子からテンソルを復元するには、tensorly.kruskal_to_tensor を使います。

from tensorly.decomposition import parafac

factors = parafac(tensor, rank=2)
reconstructed_tensor = tl.kruskal_to_tensor(factors)

print([f.shape for f in factors])

[(3, 2), (4, 2), (2, 2)]

参考：Alternating Least Square (ALS) でCP分解 - でかいチーズをベーグルする

タッカー分解（Tucker Decomposition）

タッカー分解は、テンソルをコアテンソルと次数と同じ数のベクトルの積の和で表す方法です。３次のテンソルの場合、以下のような演算が成立するように分解されます。

このとき、$g_{rst}$ はコアテンソル $\mathcal{G}$ の要素となります。

３次のテンソル（$3 \times 4 \times 2$）を $(R,S,T)=(2,2,2)$ で タッカー分解すると、コアテンソル $\mathcal{G}$ は（$2 \times 2 \times 2$）に、 因子$A^{(m)}$ は（$3 \times 2$）と（$4 \times 2$）と（$2 \times 2$）になります。

TensorLy では、tensorly.decomposition.tucker で タッカー分解ができます。コアテンソルと因子からテンソルを復元するには、tensorly.tucker_to_tensor を使います。

from tensorly.decomposition import tucker

core, factors = tucker(tensor, rank=[2, 2, 2])
reconstructed_tensor = tl.tucker_to_tensor(core, factors)

print(core.shape)
print([f.shape for f in factors])

[output]
(2, 2, 2)
[(3, 2), (4, 2), (2, 2)]

参考：Tucker分解の導出と実装 - でかいチーズをベーグルする

テンソルトレイン分解（Tensor-Train Decomposition）

テンソルトレイン分解は、テンソルを３次のテンソルの積の和で表す方法です。３次のテンソルの場合、以下のような演算が成立するように分解されます。

３次のテンソル（$3 \times 4 \times 2$）を TT-Rank $=(1,2,2,1)$ で テンソルトレイン分解すると、TTコア $\mathcal{G}^{(m)}$ は（$1 \times 3 \times 2$）と（$2 \times 4 \times 2$）と（$2 \times 2 \times 1$）になります。

TensorLy では、tensorly.decomposition.matrix_product_state で テンソルトレイン分解ができます。TTコアからテンソルを復元するには、tensorly.mps_to_tensor を使います。

from tensorly.decomposition import matrix_product_state

ttcore = matrix_product_state(tensor, rank=[1,2,2,1])
reconstructed_tensor = tl.mps_to_tensor(ttcore)

print([c.shape for c in ttcore])

[output]
[(1, 3, 2), (2, 4, 2), (2, 2, 1)]

参考：Rでtensor train decomposition してみた

Reference

• テンソル分解（Wikipedia）
• 2014 3 13(テンソル分解の基礎)
• 関係データの機械学習
• TensorLy User guide: 4. Tensor decomposition
• Alternating Least Square (ALS) でCP分解 - でかいチーズをベーグルする
• Tucker分解の導出と実装 - でかいチーズをベーグルする
• Rでtensor train decomposition してみた
• Jean Kossaifi, Yannis Panagakis, Anima Anandkumar and Maja Pantic, TensorLy: Tensor Learning in Python, https://arxiv.org/abs/1610.09555.