贝叶斯网络-笔记2-不确定性

Question

如题所述

Answer 1

贝叶斯神经网络的核心目标在于捕捉不确定性，特别是训练数据中可能存在的不确定性。不确定性主要分为三类：数据本身的噪声（Aleatoric）、模型简并性带来的不确定性（Epistemic）以及模型对数据解释的不确定性（Aleatoric中的Heteroscedastic）。

数据不确定性，如传感器噪声，不能通过增加数据改善，它通常不依赖数据而恒定（Homoscedastic）或随输入变化（Heteroscedastic）。模型不确定性（Epistemic）源于模型参数的随机性，随着训练数据增多，可通过优化方法如贝叶斯推断和Dropout variational inference来减少。

Dropout variational inference通过赋予Dropout层随机权重来建模不确定性，而回归模型的不确定性可通过预测方差来体现。Heteroscedastic Aleatoric Uncertainty则通过特定的损失函数来捕获，与Epistemic uncertainty结合时，需同时考虑模型期望和数据噪声。

在实践中，贝叶斯神经网络通过后验分布计算期望和方差，以及使用高斯似然来近似Aleatoric uncertainty。预测的不确定度是通过多次采样网络输出计算得出的，对于分类问题，还需通过softmax函数处理。下一部分将探讨如何在代码层面上实现不确定性捕捉的实践方法。