티스토리

민지기il 블로그

검색하기

블로그 홈

민지기il 블로그

jangmj80.tistory.com/m

민지기il 님의 블로그입니다.

구독자: 0

방명록 방문하기

주요 글 목록

Assignmenft 1-3 (SoftMax) softmax 문제를 풀면서 느낀거는 강의를 듣고서만 풀 수 없는 거 같다. 여러 검색들과 정리된 식들, 코드로 어떻게 옮길 것인가를 반복하면서 풀었다. 이번 코드는 내가 풀지 못했고 다른 코드를 가져와서 분석하는 식으로 공부했다... **softmax_loss_naive 가중치 W:(D,C) /c는 클래스의 갯수 / 각 클래스에 대한 예측 점수를 계산하는 벡터 미니배치 X:(N,D) / N개의 minibatches, D는 각 data point의 차원 수 traing label y:(N,) / y[i]는 미니 배치 내 datapoint의 ground_table / 이미지의 정답 클래스 SoftMax -sigmoid 보다 학습이 더 잘된다 -loss function으로 cross-entrophy를 쓴다 .. 공감수 0 댓글수 1 2024. 3. 30.
C231n(12) Visualizing and Understanding ConverNets 내부에 어떤 일이 일어나고 있을까 과정) input image(pixel) -> layers(conv, pooling) -> Class scores - First Layer: Visualize Filters Alexnet 첫번째 Conv의 결과로는 3X11X11 feature map이 나오게 되며 필터의 가중치와 입력 이미지의 내적을 통해 구해진다. feature map을 시각화 시키는 것으로 필터들이 무엇을 찾는지를 알 수 있는데 보통 엣지나 보색 등을 찾아낸다. 첫번째 레이어는 이미지와 가장 가까운 곳에 접하기 때문에 이미지의 특징을 잡아내는데 유리하다. -Visualize the filters/kernels (raw weights) 처음에는 3x7x7의 16개 filter가 있다.. 공감수 0 댓글수 1 2024. 3. 23.
CS231n(11) Detection and Segmentation Semantic Segmentation -해당 픽셀의 카테고리가 무엇인지에 대해 모든 픽셀에 독립적으로 레이블을 지정한다. -소 2마리를 각각의 객체로 보지 않고 소라는 라벨이 붙은 픽셀 덩어리로 본다. 분류하려면 instance segmenatation 수행하면 된다 - Classification이 어떠한 객체를 단위로 분류했다면, Semantic Segmentation은 픽셀 단위로 분류한다. Sliding Window Patch를 만들고, 전체 영역을 모두 돌면서 한 픽셀이 어느 카테고리에 들어가는지 찾아내는 방법이다. 이미지의 모든 픽셀에 레이블을 지정하고 해당 이미지의 모든 픽셀에 대해 별도로 자르기가 필요하다. 각 pixel마다 crop을 진행했을때, 이웃 pixel들은 crop한 영역이 필연.. 공감수 0 댓글수 0 2024. 3. 18.
Assignment 1-1 (KNN) KNN 실습 Cross-Validation num_folds = 5 k_choices = [1, 3, 5, 8, 10, 12, 15, 20, 50, 100] X_train_folds = [] y_train_folds = [] ################################################################################ # TODO: # # Split up the training data into folds. After splitting, X_train_folds and # # y_train_folds should each be lists of length num_folds, where # # y_train_folds[i] is the label vecto.. 공감수 0 댓글수 0 2024. 3. 18.
Assignment Python Tutorial 강의상으로 중간고사 범위까지 공부를 하였다. cs231n은 과제 3개가 있다고 해서 오늘부터 해보려고 한다. https://cs231n.github.io/ 사이트에 들어가서 Assignment#1 부터 할 것이다. python은 1학년 때 해보고 안 해봐서 복습을 먼저 했다. https://cs231n.github.io/python-numpy-tutorial/ 참고 Slicing nums = list(range(5)) print(nums) #[0,1,2,3,4] 출력 print(nums[2:4]) #[2,3] 출력 print(nums[:2]) #[0,1] 출력 print(nums[2:]) #[2,3,4] 출력 Enumerate animals = ['cat', 'dog', 'monkey'] for idx,.. 공감수 0 댓글수 1 2024. 3. 14.
CS231n(10) Recurrent Neural Networks 지난시간) - gradient flow를 적절히 manage해야 한다. 이를 위해 Densenet과 Fractalnet이 등장했다. - parameter: 모델이 학습하는 가중치(weight)와 편향(bias)을 가리킨다. 이들은 입력 이미지를 특정 클래스로 분류하거나 원하는 작업을 수행하는 데 사용된다. 각 계층(layer)에는 여러 개의 필터(filter)가 있고, 이러한 필터는 입력 이미지의 특징을 감지하기 위해 사용된다. 예를 들어 CNN 모델에서 첫 번째 합성곱 계층에서는 필터마다 가중치와 하나의 편향이 있다. 이 가중치와 편향은 입력 이미지와 필터를 합성곱하여 특징 맵(feature map)을 생성하는 데 사용된다. Recurrent Neural Networks - network가 handle.. 공감수 0 댓글수 0 2024. 3. 13.
CS231n(9) CNN Architectures CNN Architecture 9강은 최신 CNN 아키텍처에 대한 강의이다. 모두 imageNet 챌린지에서 우승하였다. 복습) 이미지를 입력으로 받아 stride = 1 인 5x5 필터를 통해 몇 개의 Conv Layer와 pooling layer를 거치고, 마지막으로 FC Layer를 통과한다. 간단한 모델이지만 필기체 숫자 인식에서 성공하여 우편번호(zip code) 인식에 사용되었다. 1) AlexNet -최초의 거대한 convolutional neural network였다. Input: 227 x 227 x3 images FirstLayer(CONV1): 96개의 11x11 filters applied at stride 4 Q1) Output Volume?: (227-11)/4 + 1 =55 답.. 공감수 0 댓글수 1 2024. 3. 12.
C231n(8) DeepLearning Software 지난시간 요약) -optimization을 위한 fancier한 algorithm들에 대해 배움 ex) SGD+Momentum, Nesterov, RMSProp, Adam ... -Regularization ex) dropout: network를 무작위로 0으로 설정한 다음 테스트 시 뒤쪽의 noise를 무시한다 -Transfer Learning: 일부 데이터 세트에 대해 사전 훈련된 대규모 network를 다운로드하고 자신의 문제에 맞게 미세조정하는 방법 DeepLearning Software CPU VS GPU CPU: Central Processing Unit ; 코어가 4-6개 있고 하이퍼스레딩 기술을 사용하면 물리적으로 8-20개 스레드를 사용한다 GPU: Graphics Processing .. 공감수 0 댓글수 0 2024. 3. 10.
CS231n(7) Training Neural Networks II 지난 강의 복습) NN을 학습시키는 방법: -대부분의 경우 기본적인 ReLU를 선택한다 -Weight initialization에서 초기 가중치가 너무 작으면 활성화가 사라지고 너무 크면 폭발한다 -Xavier를 사용하면 적당하다 -normalization을 하는 이유: 손실이 매개변수 벡터에 매우 민감하여 학습이 어려울 수 있다. -batch normalization: 네트워크 내부에 추가 레이어를 추가해서 모든 중간 활성화가 평균 0과 단위 분산이 되도록 한다 용어 정리) -epoch: 데이터를 학습시키는 횟수 -iteration: 한번의 epoch에서 모든 데이터를 한꺼번에 집어넣을 수 없어서 데이터를 나누어서 주는데 이때 나누는 횟수 -batch size: 각 iteration마다 주는 데이터 .. 공감수 0 댓글수 3 2024. 3. 8.
CS231n(6) Training Neural Networks I Process the data (데이터 전처리) 일반적인 머신러닝에서 데이터를 zero-centering 후에, normalize 하여 각각의 들쑥날쑥한 피쳐들을 어떤 범위 내로 전처리시킨다. 하지만, 이미지 데이터에서는 zero-centering만 해준다. 왜냐하면 이미지 데이터는 픽셀 값이 0에서 255로 전부 같은 범위이기 때문이다. Weight Initialization 1. W에 아주 작은 랜덤의 값을 부여한다. 정규 분포로부터 가져온 작은 편차의 값들을 랜덤으로 w initialization 해준다 W=0.01*np.random.randn(D,H)하지만 여전히 neural net이 깊어지면 문제가 발생한다. 위의 코드를 보면 각 hidden layer에 input으로 X=(1000, 500) .. 공감수 0 댓글수 0 2024. 3. 7.
CS231n(5) Convolutional Neural Networks Activation Functions activation 함수는 비선형성을 가해주는 매우 중요한 역할을 한다. 활성화 함수를 사용하지 않으면, 모든 층이 선형 변환만 수행하게 되어, 신경망이 여러 층을 쌓더라도 하나의 선형 변환으로 표현될 수 있다. 이러한 비선형성을 도입함으로써 신경망이 복잡한 함수를 모델링할 수 있게 된다. layer에 활성화 함수가 없으면, w2(w1x+b)+b로 넘어가고 그냥 wx+b와 다름 없어지므로 single layer와 다름이 없다. 예를 들어 ReLu함를 쓰면 h1=ReLU(W1*x + b1), h2=ReLU(W2*h1 + b2) 하면서 점점 더 복잡한 비선형 함수를 학습할 수 있게 된다. 1) Sigmoid function 넓은 범위의 숫자를 [0,1] 사이로 squas.. 공감수 0 댓글수 0 2024. 3. 5.
CS231n(4) Introduction to Neural Networks Backpropation and NN 예제 1 f(x,y,z)=(x+y)z 에서 x=-2, y=5, z=-4이다 왼->오 진행을 FP(Forward Pass)이고 이 과정으로 local gradient를 얻을 수 있다 오->왼 진행을 BP(Backward Pass)이고 이 과정으로 global gradient를 얻을 수 있다 df/df는 identity function이라고 한다 gradient = global gradient x local gradient 이다 q=x+y 이고 f=qz라고 하자 dq/dx=1 , dq/dy = 1이고 df/dq=z df/dz=q이다 이때 우리가 원하는 건 input 값에 대한 마지막 단의 영향력이므로 df/dx, df/dy, df/dz를 알고자 한다 df/dx = df/.. 공감수 0 댓글수 0 2024. 3. 4.
CS231n(3-3) Loss Functions and Optimization f를 정의해서 스코어를 구하고, 손실함수를 이용해서 w도 평가했다. 손실함수가 최소가 되게 하는 W를 구하기 위해 최적화를 사용한다 Optimization :loss를 최소화하는 W를 찾는 과정 가정) dataset (x,y)를 갖는다, score function은 s=f(x,W) = Wx이다 , loss function으로는 SVM, Softmax, Full loss를 갖는다 Numericla Gradient(수치적 기울기) gradient: loss function 의 기울기로, 현재 가중치에서 loss function이 어느 방향으로 얼마나 변화하는지 gradient는 그쪽 방향으로 갈때 함수 f의 slope가 어떤지를 알려준다 gradient의 방향은 함수에서 가장 많이 올라가는 방향이므로, 이 .. 공감수 0 댓글수 0 2024. 2. 22.
CS231n(3-2) Loss Functions and Optimization 3) Multinomial Logistic Regression - Softmax : 여러 개의 클래스를 예측하는 데 사용되는 확률적 분류 모델. 이 모델은 각 클래스에 대한 확률을 계산하고, 입력 특성의 가중치와 편향을 사용하여 이러한 확률을 추정 - Logistic 함수를 사용하여 클래스별 확률을 추정한다. 로지스틱 함수는 입력 변수의 선형 조합을 취하여 0과 1 사이의 확률 값을 출력하는 함수이다 - Softmax 함수는 로지스틱 함수의 확장으로, 입력 변수의 선형 조합을 취하여 여러 클래스에 대한 확률 분포를 계산한다. 이 함수는 각 클래스에 대한 확률을 정규화하여 합이 1이 되도록 만든다 - 모델을 학습하기 위해서는 손실 함수를 최소화해야 한다. 따라서 Li=-log(pj)를 해서 pj를 최대화하.. 공감수 0 댓글수 0 2024. 2. 21.
CS231n(3-1) Loss Functions and Optimization Loss function (손실함수) : Linear Classifier에서 W의 성능이 중요하다 W를 평가하는 척도가 됨 손실 함수에서 사용되는 data loss는 주어진 data point 에 대한 모델의 예측값과 실제 레이블 간의 차이를 나타내며, 이 차이가 작을수록 모델의 성능이 좋다고 판단됨 1) Multiclass SVM loss :손실함수 중에서 가장 기본적이고 이미지 분류에도 성능이 좋음 주어진 샘플에 대한 각 클래스의 스코어와 올바른 클래스의 스코어를 비교하여 마진을 계산하고, 마진이 양수인 경우에만 손실을 계산 (스코어란 클래스를 log화한 확률) sj: 오답 카테고리의 스코어 syi: 정답 카테고리의 스코어 첫번째 데이터에 대한 Loss를 구해보자 cat 일 때 syi = 3.2 이다.. 공감수 0 댓글수 0 2024. 2. 15.
CS231n(2) Image Classification 실습) Iris 데이터셋 -설명 꽃의 꽃잎과 꽃받침의 길이와 너비가 주어진다. Iris-setosa, Iris-versicolor, Iris-virginica라는 3가지 꽃에 대한 측정이다 X에 sepal-length ~ petal-width까지의 feature 데이터를 담고, y에 Class(꽃의 종류)를 담는다. 이후 feature scaling(정규화)를 해준다 ; feature scaling은 들쭉날쭉한 데이터 크기 분포의 scale을 상대적으로 잡아주는 것 Linear Classification -Parametric model 이란? 입력 이미지: x 파라미터 (가중치) : W CIFAR10 데이터셋을 이용하고, 고양이 사진을 x라 할때, 함수 f는 x와 w를 가지고 10개의 숫자를 출력한다 이.. 공감수 0 댓글수 0 2024. 2. 14.
CS231n(1) Introduction to Convolutional Neural Networks for Visual Recognition 인공지능 OpenCV: 이미지, 비디오 처리 PIL: python에서 이미지 처리를 위한 라이브러리 Numpy: python에서 사용되는 과학 계산 라이브러리 Matplotlib: python에서 다양한 차트와 그래프를 그리기 위한 라이브러리 / 결과 분석용 NLTK, SpaCy, Transformers: 자연어 처리 TensorFlow: 구글에서 개발한 오픈소스 머신러닝 프레임워크로, 딥러닝 및 인공신경망 구조를 설계하고 구현 Keras: TensorFlow와 호환되는 고수준 머신러닝 라이브러리 딥러닝 모델을 쉽고 빠르게 구현 / 현재 TensorFlow 2.0 이상에는 Keras가 통합되어 제공됩니다. PyTorch: 페이스북에서 개발한 오픈소스 머신러닝 프레임워크로, 딥러닝 모델 구현 및 연구 1).. 공감수 0 댓글수 1 2024. 2. 14.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.