AI/ML

로지스틱 회귀

$\hat{y} := P(y=1|x) := \sigma (w^Tx+b),\ $ where $\sigma : $ logistic function. Maximum Log-Likelihood Estimation을 수행하면 모수 $w, b$를 추정할 수 있다. (엄밀하게 말하면 모수는 $\sigma(w^T x + b)$ 이다. p(y|x) = Bern($\sigma(w^T x + b)$) 이기 때문이다. 하지만 x를 알고 있기 때문에 자연스럽게 w, b도 추정할 수 있게 된다.) $\displaystyle L = \prod_{i=1}^{m}{P(y^{(i)}|x^{(i)})}$. $\displaystyle LL = \sum_{i=1}^{m}log{P(y^{(i)}|x^{(i)})}$. Cost funtion $..

Perceptron Convergence Theorem Proof

목표 vector $w^\star$, 현재 vector $w$ 라고 하자. Data set {($(\mathbf{x_1}, y_1)$, ... , $(\mathbf{x_d}, y_d)$} 가 주어졌다고 하자. WLOG, $||w^\star|| = 1$, $||\mathbf{x}|| \leq 1$ 이라고 하자. ( 모든 data에 $\mathbf{x_i} \leftarrow \mathbf{x_i} / max(\mathbf{x})$ 해도 같은 hyperplane 얻는다 ) WLOG, $w = 0$ 으로 시작한다고 하자. $w^\star$의 정의에 따라 모든 $(\mathbf{x}, y)$에 대해 $y x^T w^\star > 0$이 성립한다. Lemma : $y x^T w^\star \geq \gamma$ ..