IntroductionAutoencoders are unsupervised neural network models commonly used for tasks like dimensionality reduction and representation learning. In a typical autoencoder, the network is trained to minimize the reconstruction error between the input $ \mathbf{x} $ and its reconstruction $ \mathbf{x}' $. Both the encoder and decoder can be designed as single- or multi-layer networks. While a sym..

`LDA` 두번째 파트입니다. `LDA`는 분류와 차원축소에 사용되며 각각에 해당되는 수학적 배경을 이전 파트에서 설명하였습니다. 두번째 파트에서는 각각에 대해 스크래치부터 구현해보는 시간을 갖도록 하겠습니다. 이 부분도 가독성으로 인해 `classification`과 `dimentionality reduction`두가지에 대해 포스팅 하겠습니다. 먼저 `classification`입니다.ClassificationImplementation분류 문제에서는 Bayes' rule을 통해 선형 결정경계를 구합니다. 여기서 모수가 필요한데, 샘플을 통해 모수를 추정하는 작업 부터 하겠습니다.더보기Sample Parameters$\hat{\pi} = N_k/N$$\hat{\mu_k} = \Sigma_{g_i = k..

`LDA` 포스팅은 총 3가지 파트로 이루어져 있습니다. 이번 파트에서는 이론적인 배경과 수식의 전개를 확인하며, `Part 2`에서는 스크래치부터의 구현, 그리고 마지막 `Part 3`에서는 어떤 자료에 적용하면 효과적인지 실제의 자료를 통해 조사해볼 예정입니다.Linear Discriminant  Analysis`Linear Discriminant Analysis (LDA)`는 분류와 차원축소에 사용되는 오래된 머신러닝 기법 중 하나입니다. 차원축소에 있어 LDA는 정사영(행렬 분해)을 통해 차원을 축소한다는 점에서 Principal Component Analysis (PCA)와 비슷하지만, 그 방향은 다소 다릅니다. PCA는 원본 데이터의 분산을 최대화하는 벡터를 찾고, LDA는 클래스 정보를 분할..