공부해서 남주자

이번 포스팅에서는 entropy에 대해 알아보겠습니다. (출처: 선형대수와 통계학으로 배우는 머신러닝 with 파이썬, 장철원 지음) 엔트로피(Entropy) entropy는 정보이론에서 불확실성의 척도로 사용합니다. (저는 사실 entropy는 열역학할 때만 쓰는 개념인 줄 알았습니다.) 확률변수 $x$의 entropy는 아래와 같이 정의합니다. Entropy $$H(x) = -\sum_{i=1}^n P(x_i)\log P(x_i)$$ entropy가 높다는 것은 정보가 많고 확률이 낮다는 것을 의미합니다. entropy는 하나의 분포를 대상으로 하는 반면, cross entropy는 두 분포를 대상으로 합니다. Cross Entropy $$H_{p,q}(x) = -\sum_{i=1}^n P(x_i)\..

이번 포스팅에서는 손실함수에 대해 알아보겠습니다. (출처: 선형대수와 통계학으로 배우는 머신러닝 with 파이썬, 장철원 지음) 손실함수(loss function) 손실함수는 머신러닝을 통해 생성한 모형이 실제값과 얼마나 차이가 나는지 손실 정도를 수치로 나타낸 함수입니다. 손실함수에는 $L1$ 손실함수와 $L2$ 손실함수가 존재합니다. 그리고 손실함수와 비슷하게 비용함수라는 개념도 존재합니다만 엄밀하게 말하면 서로 다르지만 실제로는 구분없이 사용하기도 한답니다. $L1$ 손실함수 $L1$ 손실은 실제값과 예측값의 차이를 말하며 수식으로 아래와 같이 표현할 수 있습니다. $$\sum_{i=1}^n \left\vert y_{i,true} - y_{i,predict} \right\vert $$ $L1$ 손실..

이번 포스팅에서는 그리드 서치(grid search)에 대해 알아보겠습니다. (출처: 선형대수와 통계학으로 배우는 머신러닝 with 파이썬, 장철원 지음) 그리드 서치(grid search) 그리드 서치는 관심있는 매개변수들을 순차적으로 입력한 후에 가장 높은 성능을 보이는 하이퍼파라미터를 탐색하는 방법입니다. 쉽게 말해 가능한 모든 경우의 수를 따져서 맘에 드는 하이퍼파라미터를 고르는거죠. 예를 들어 k-최근접 이웃 알고리즘에 사용할 수 있는 k 값에는 여러 후보가 존재하고, 어떤 하이퍼파라미터 k가 높은 성능을 보일지는 직접 해보기 전엔 알 수가 없습니다. 모두 해보고 모형의 성능을 비교한 후 최적의 k를 선정해야하죠. k-최근접 이웃 알고리즘 (Python) 파이썬 예제를 통해 k-최근접 이웃 알고..

이번 포스팅에서는 파이프라인(Pipeline)에 대해 알아보겠습니다. (출처: 선형대수와 통계학으로 배우는 머신러닝 with 파이썬, 장철원 지음) 파이프라인(Pipeline) 일반적으로 파이프라인은 생산라인에서 동시에 여러 공정 프로세스를 효율적으로 가능하게 하도록 하는 것을 말합니다. 머신러닝에서도 비슷하게 파이프라인은 모델을 가속, 재사용, 관리 및 배포하는 프로세스를 구현하고 표준화합니다. 파이프라인을 사용하면 데이터 전처리와 모델 학습, 예측까지 한번에 가능하여 코드도 간결해지는 장점이 있습니다. 파이프라인 적용 예제 (Python) 파이프라인 적용 전/후의 코드가 어떻게 바뀌는지 예제를 통해 알아보겠습니다. import pandas as pd import numpy as np from skle..