CS231n17 CS231n(3-3) Loss Functions and Optimization f를 정의해서 스코어를 구하고, 손실함수를 이용해서 w도 평가했다. 손실함수가 최소가 되게 하는 W를 구하기 위해 최적화를 사용한다 Optimization :loss를 최소화하는 W를 찾는 과정 가정) dataset (x,y)를 갖는다, score function은 s=f(x,W) = Wx이다 , loss function으로는 SVM, Softmax, Full loss를 갖는다 Numericla Gradient(수치적 기울기) gradient: loss function 의 기울기로, 현재 가중치에서 loss function이 어느 방향으로 얼마나 변화하는지 gradient는 그쪽 방향으로 갈때 함수 f의 slope가 어떤지를 알려준다 gradient의 방향은 함수에서 가장 많이 올라가는 방향이므로, 이 .. 2024. 2. 22. CS231n(3-2) Loss Functions and Optimization 3) Multinomial Logistic Regression - Softmax : 여러 개의 클래스를 예측하는 데 사용되는 확률적 분류 모델. 이 모델은 각 클래스에 대한 확률을 계산하고, 입력 특성의 가중치와 편향을 사용하여 이러한 확률을 추정 - Logistic 함수를 사용하여 클래스별 확률을 추정한다. 로지스틱 함수는 입력 변수의 선형 조합을 취하여 0과 1 사이의 확률 값을 출력하는 함수이다 - Softmax 함수는 로지스틱 함수의 확장으로, 입력 변수의 선형 조합을 취하여 여러 클래스에 대한 확률 분포를 계산한다. 이 함수는 각 클래스에 대한 확률을 정규화하여 합이 1이 되도록 만든다 - 모델을 학습하기 위해서는 손실 함수를 최소화해야 한다. 따라서 Li=-log(pj)를 해서 pj를 최대화하.. 2024. 2. 21. CS231n(3-1) Loss Functions and Optimization Loss function (손실함수) : Linear Classifier에서 W의 성능이 중요하다 W를 평가하는 척도가 됨 손실 함수에서 사용되는 data loss는 주어진 data point 에 대한 모델의 예측값과 실제 레이블 간의 차이를 나타내며, 이 차이가 작을수록 모델의 성능이 좋다고 판단됨 1) Multiclass SVM loss :손실함수 중에서 가장 기본적이고 이미지 분류에도 성능이 좋음 주어진 샘플에 대한 각 클래스의 스코어와 올바른 클래스의 스코어를 비교하여 마진을 계산하고, 마진이 양수인 경우에만 손실을 계산 (스코어란 클래스를 log화한 확률) sj: 오답 카테고리의 스코어 syi: 정답 카테고리의 스코어 첫번째 데이터에 대한 Loss를 구해보자 cat 일 때 syi = 3.2 이다.. 2024. 2. 15. CS231n(2) Image Classification 실습) Iris 데이터셋 -설명 꽃의 꽃잎과 꽃받침의 길이와 너비가 주어진다. Iris-setosa, Iris-versicolor, Iris-virginica라는 3가지 꽃에 대한 측정이다 X에 sepal-length ~ petal-width까지의 feature 데이터를 담고, y에 Class(꽃의 종류)를 담는다. 이후 feature scaling(정규화)를 해준다 ; feature scaling은 들쭉날쭉한 데이터 크기 분포의 scale을 상대적으로 잡아주는 것 Linear Classification -Parametric model 이란? 입력 이미지: x 파라미터 (가중치) : W CIFAR10 데이터셋을 이용하고, 고양이 사진을 x라 할때, 함수 f는 x와 w를 가지고 10개의 숫자를 출력한다 이.. 2024. 2. 14. 이전 1 2 3 4 5 다음
