Up エントロピー 作成: 2025-02-16
更新: 2025-02-16

    分布は，「場合の数が同じ」で分類される。
    分布 \( s \) が「場合の数＝ \( n \)」の類に属するとき，\( n \) の自然対数 \( log\ n \) を「\( s \) のエントロピー」と定義する。

    エントロピーは，場合の数の＜ｅを底とする桁数＞である。
    場合の数からさらにエントロピーを考えるのは，場合の数は一般に非常に大きな数になって扱いずらいからである。
    エントロピーだと，扱いやすくなる。

    \( s \) のエントロピーを，\( e( s ) \) で表すことにする。
    集合Ｘの要素の分布全体を \( D \) で表すと，これは \( D \) から実数 ≧0 への関数を定義したことになる：
      \[ e : D \longrightarrow \mathbb{R} \]

    流れ \( f : \mathbb{R} \longrightarrow D \) は，つぎの関数を導く：
      \[ f_e = e \circ f : \mathbb{R} \longrightarrow \mathbb{R} \]