How to get KL divergence and reconstruction error in VAE

[tatsuhiko-inoue]

VAE の学習中に KL divergence や再構成誤差などの損失の一部をそれぞれ独立に確認するにはどのようにすればよいのでしょうか?

[ktaaaki]

それぞれの損失の一部でevalメソッドを呼び出せばできると思います．
例えばVAE(q, p, regularizer=kl, ...)で定義されたVAEでは，kl.eval(x_dict)と-p.log_prob().expectation(q).eval(x_dict)またはStochasticReconstructionLoss(q, p).eval(x_dict)でKL divergenceと再構成誤差が評価できます．

ただしそれぞれの損失のevalでは別々の（確率的な）計算が実行されるため，これを一元化したい場合の実装は現状では困難です．中間結果を明示的にsampleやevalメソッドで取り出せばできる場合もあります（中間の変数や損失がすでに定義されている場合など）．

[tatsuhiko-inoue]

回答ありがとうございます。

おっしゃる通り、実行してみたところ、実行した分、Encoder/Decoderも実行されました。
追加の計算なしでの取得は現状、非常に困難という理解でよいでしょうか?

[ktaaaki]

今回の件については，以下のようにhについての期待値計算を手続き的に実装すればできそうです．

class Decoder(Normal):
   ...

class EncoderBase(Determinisitic):
   def __init__(self):
      super().__init__(cond_var=['x'], var=['h'])
      ...
   ...

def train():
   ...
   p = Decoder()
   q1 = EncoderBase()
   q2 = Normal(var=['z'], cond_var=['h'], ...)
   prior = Normal(...)
   kl = KullbackLeibler(q2, prior)
   reconst = -p.log_prob().expectation(q2)
   ...
   h_dict = q1.sample(x_dict)
   kl_value = kl.eval(h_dict)
   reconst_value = reconst.eval(h_dict)

[tatsuhiko-inoue]

回答ありがとうございました。

この方法を使ってみようと思います。

ただ、変なことを言うかもしれませんが、せっかくVAEというクラスを用意して頂いているのだから、もっと簡単にかけるとありがたいと考えています。
将来の機能として検討いただけますでしょうか?

[ktaaaki]

いつのバージョンから取り入れるかはまだ明言できませんが，検討中です．
pixyzの実用的な自由度を広げる上で，貴重なご意見ありがとうございます．

[tatsuhiko-inoue]

検討いただき、ありがとうございます。
対応をお待ちしています。