[머신러닝] 얀센의 부등식(Jansen's inequality)

이번 포스팅에서는 얀센의 부등식에 대해 알아보겠습니다.

(출처: 선형대수와 통계학으로 배우는 머신러닝 with 파이썬, 장철원 지음)

 

 얀센의 부등식(Jansen's inequality)

얀센의 부등식은 기댓값의 convex 함수와 convex 함수의 기댓값 사이에 성립하는 부등식입니다.

 

얀센의 부등식은 아래와 같이 나타냅니다.

 

$$f(wx_1+(1-w)x_2) \leq wf(x_1)+(1-w)f(x_2)$$

 

앞서 언급했던 함수 $f$가 컨벡스(convex)할 조건과 같습니다.

 

이를 좀 더 일반화한다면 아래와 같이 나타낼 수 있습니다.

 

$$f(w_1x_1+...+w_kx_k) \leq w_1f(x_1)+...+w_kf(x_k)$$

 

여기서 $x_1, ... x_k$는 함수 $f$의 정의역이며, $w_1, ... w_k \geq 0$이고 $w_1+...+w_k=1$ 입니다.

 

이 때, 위 부등식을 기댓값($E$)를 사용해 나타내면 아래와 같습니다.

 

$$f(E(X)) \leq E(f(X))$$

 

이를 얀센의 부등식이라고 합니다.

 

 

만약 두 점 $x_1, x_2$에 대하여 고려한다면 어떻게 쓸 수 있을까요?

 

기댓값과 함수값의 평균을 취한 후 나타내면 아래와 같이 쓸 수 있습니다.

 

$$f\left(\frac{x_1+x_2}{2}\right) \leq \frac{f(x_1)+f(x_2)}{2}$$

 

즉, 아래로 볼록한 convex 함수라면 함수값을 먼저 구하고 평균을 한 것이 평균의 함수값보다 항상 큽니다.

 

만약 위로 볼록하다면 부등식의 방향은 반대가 됩니다.

 

 

여기까지 얀센의 부등식에 대해 알아보았습니다.