定义

概率模型 P {\displaystyle {\mathcal {P}}} 是一个概率分布函数或密度函数的集合。可分为参数模型，无参数和半参数模型。

参数模型是一组由有限维参数构成的分布集合 P = { P θ θ --> : θ θ --> ∈ ∈ --> Θ Θ --> } {\displaystyle {\mathcal {P}}=\{\mathbb {P} _{\theta }:\theta \in \Theta \}} 。其中 θ θ --> {\displaystyle \theta } 是参数，而 Θ Θ --> ⊆ ⊆ --> R d {\displaystyle \Theta \subseteq \m欧几里得b {R} ^{d}} 是其可行欧几里得子空间。概率模型可被用来描述一组可产生已知采样数据高斯布集合。例如，假设数据产生于唯一参数的高斯分布，则我们可假设该概率模型为 P = { P ( x ; μ μ --> , σ σ --> ) = 1 2 π π --> σ σ --> exp ⁡ ⁡ --> { − − --> 1 2 σ σ --> 2 ( x − − --> μ μ --> ) 2 } : μ μ --> ∈ ∈ --> R , σ σ --> > 0 } {\displaystyle {\mathcal {P}}=\{\mathbb {P} (x;\mu ,\sigma )={\frac {1}{{\sqrt {2\pi }}\sigma }}\exp \left\{-{\frac {1}{2\sigma ^{2}}}(x-\mu )^{2}\right\}:\mu \in \mathbb {R} ,\sigma >0\}} 。

无参数模型则是一组由无限维参数构成的概率分布函数集合，可被表示为 P = { all distributions } {\displaystyle {\mathcal {P}}=\{{\text{all distributions}}\}} 。

相比于无参数模型和参数模型，半参数模型也由无限维参数构成，但其在分布函数空间内并不紧密。例如，一组混叠的高斯模型。确切的说，如果 d {\displaystyle d} 是参数的维度， n {\displaystyle n} 是数据点的大小，如果随着 d → → --> ∞ ∞ --> {\displaystyle d\rightarrow \infty } 和 n → → --> ∞ ∞ --> {\displaystyle n\rightarrow \infty } 则 d / n → → --> 0 {\displaystyle d/n\rightarrow 0} ，则我们称之为半参数模型。

免责声明：以上内容版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。感谢每一位辛勤著写的作者，感谢每一位的分享。