로지스틱 회귀

$\hat{y} := P(y=1|x) := \sigma (w^Tx+b),\ $ where $\sigma : $ logistic function.

 

Maximum Log-Likelihood Estimation을 수행하면 모수 $w, b$를 추정할 수 있다.

(엄밀하게 말하면 모수는 $\sigma(w^T x + b)$ 이다. p(y|x) = Bern($\sigma(w^T x + b)$) 이기 때문이다. 하지만 x를 알고 있기 때문에 자연스럽게 w, b도 추정할 수 있게 된다.) 

 

$\displaystyle L = \prod_{i=1}^{m}{P(y^{(i)}|x^{(i)})}$.

 

$\displaystyle LL = \sum_{i=1}^{m}log{P(y^{(i)}|x^{(i)})}$.

 

Cost funtion $J := -LL,\ $ since $\displaystyle \underset{w, b}{\operatorname{argmin}} J = \underset{w, b}{\operatorname{argmax}} LL$.