朴素贝叶斯法将实例分到后验概率最大的类中,这等价与期望风险最小化。
假设采用0-1损失函数:
L(Y,f(X))={
1, Y≠f(X)0, Y=f(X)L(Y,f(X))=\begin{cases} 1, \ Y \neq f(X) \\ 0, \ Y=f(X) \end{cases} L(Y,f(X))={
1, Y=f(X)0, Y=f(X)
其中f(X)f(X)f(X)是分类决策函数,X,YX,YX,Y的联合概率分布是P(X,Y)P(X,Y)P(X,Y)。
期望风险函数为
Rexp(f)=E(L(Y,f(X)))=EX(L(Y,f(X))P(Y∣X)) \begin{equation*} \begin{split} R_{exp}(f) &= E(L(Y, f(X))) \\ &=E_X(L(Y,f(X))P(Y|X)) \end{split} \end{equation*} Rexp(f)=E(L(Y,f(X)))=EX(L(Y,f(X))P(Y∣X))
需要对上式极小化。
下面推导等会儿要用到的等式:
y∈{
c1,c2,…,cK}y \in \{c_1,c_2, \dots, c_K\}