본문 바로가기

전체 글

 (180)
[week5] Backpropagation in Pratice A. Implementaton Note : Unrolling 1 2 3 4 5 6 7 8 thetaVector = [ Theta1(:); Theta2(:); Theta3(:); ] deltaVector = [ D1(:); D2(:); D3(:) ] Theta1 = reshape(thetaVector(1:110),10,11) Theta2 = reshape(thetaVector(111:220),10,11) Theta3 = reshape(thetaVector(221:231),1,11) http://colorscripter.com/info#e" target="_blank" style="color:#e5e5e5text-decoration:none">Colored by Color Scripter http://col..
[week5] Neural Networks : Learning, Cost Function and Backpropagation 1. 1. 먼저 살펴볼 예로는 이진 분류다. 어떤 대상이 맞거나 아니거나 하는 분류로 모든 분류의 기본이 된다. 그렇기 때문에 아웃풋 레이어에서 단 하나의 유닛만을 가지며, 실제로 그 유닛이 참일 확률을 보여준다. 2. 멀티클래스 분류의 경우는 k개의 클래스(답)을 가지며, K개의 아웃풋을 가지게 된다. 즉 K개 차원의 벡터를 가지게 되며, 최대 우도법에 의해서 가장 큰 값을 가지는 위치의 값이 답이 된다. 1. 위의 식은 로지스틱 회귀를 통한 분류의 비용함수의 정규화 버전으로, 세타0에 대해서는 패널티(정규화)가 이루어지지 않기 때문에 1부터 끝가지 세타의 제곱값이 더해진다. 2. 신경망의 비용함수가 복잡해 보일 수 있다. 하지만 겁먹지마라, 딱 연산의 구조가 증가한 만큼 신경망의 비용함수도 그 구조가..
[week4] Applications A. Examples and Intuitions 1 https://ko.khanacademy.org/computing/computer-science/cryptography/ciphers/a/xor-bitwise-operation XOR 비트 연산 ko.khanacademy.org 1. 먼저 배타적 논리합 (XOR)에대해서 짚고 넘어가야 한다. 배타적 논리합이란 하나만 참이고 하나는 거짓인 경우를 골라 내는 것인데, 그것을 하나의 연산으로만 구분할 수 없기 때문에 최소 2번 이상의 연산이 필요하다는 이야기다. 1. AND연산이라는 간단한 예제를 보면, X1과 ,X2의 값에 의해서 생긴 가설 H의 값이 X1과 X2가 모두 1일 일때만 1의 값을 가지는 것을 볼 수 있다. 이것이 AND연산이 되었음을 알려준다..
[week4] Neural Network Model Representation 1. Input wire : Dendrite 2. Output wire : Axon 3. 뉴런의 기능을 단순화 해봤을 때, 뉴런은 계산 단위이고, 여러개의 입력 단자로부터 값을 받아 특정 계산을 수행하고 축삭돌기를 통해 출력값을 다른 노드나 뉴런으로 보낸다. 1. 덴드라이트를 통해 받아들이고, 정보를 처리하여, 액손을 통해 출력한다. 1. 우리가 모델로 사용할 뉴런은 논리적인 단위다. 2. 노란색 원을 뉴런의 본체로 본다면, x1,x2,x3를 input wire(dendrite)로 뉴런에 데이터를 공급한다. 본체는 어떤 계산을 하고, axon을 통해 ouput을 산출한다. 여기서 h(x)는 로지스틱회귀함수에서 사용했던 액티베이션 함수가 들어가 있다. 3. X0는 bi..
[week4] Non-linear Hypotheses, Motivation 1. 연속된 값을 예측하는 선형회귀도 있고, 분류를 위한 로지스틱 회귀도 있고, 비선형적이지 않은 값을 예측하거나 분류하는 다항식으로 이루어진 선형회귀와 로지스틱 회귀도 있는데, 왜? 신경망 알고리즘이 필요할까? 2. 고차 다항식의 차수가 높아질수록, 실제 한번의 가설의 값을 계산하는데 필요한 연산량은 기하급수적으로 O(N^(차수))로 증가하게 된다. 피쳐의 수가 적다면 괜찮겠지만, 피쳐의 수가 많고, 컴퓨터가 구지다면 비용이 너무 크게 든다는 단점이 있다. 1. 우리가 차의 사진을 분류하는 분류기를 만든다고 생각해보자. 차의 특정 픽셀의 값에 따라 많은 종류의 사진들을 위치 시킬 때, 그러한 픽셀들에 의해서 사진은 비선형적으로 분류된다. 하지만, 지금의 예시와 같이 사진의 픽셀은 단 두개가 아니다. 2..
기여도 상위 5% dtm, tfidf 만들기 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 12..
[week3] Solving the Problem of Overfitting 1. Underfitting = high bias, 과소적합은 강한 편향(bias), 강한 선입견(preconception)을 가지고 있다고 말할 수 있다. 데이터를 직선에 맞추려다보니 이러한 크 편향이 생겨버린 것이다. 2. 두 번째는 Overfitting 이라고 하면, 이를 high variance(높은 분산)을 가지고 있다라고 한다. 데이터가 맞긴 맞지만, 너무 커다란 변동성을 가지게 되면서, 너무 약한 일관성?을 가지게 된다. 3. 중간 건 그냥 잘 맞는다고 함, Just right! 1. 로지스틱 리그레션에서도 이와같은 과소적합과 과대적합의 예를 찾을 수 있다. 2. 적절하게 디시전 바운더리가 형성될 수 있디만, 피쳐가 많아지면, 오버피팅 되어, 높은 분산을 가지게 되어 버린다. 1. 어떻게 이..
[week3] Multiclass Classification 1. 이메일을 분류할 때, 업무는 1, 친구는 2, 가족은 3, 취미는 4로 분류할 수 있고 2. 의료에서는 아프지 않음을 1, cold는 2, Flu는 3으로분류할 수 있다. 3. 날씨의 경우 좋은날은 1, 구름은 2, 비는 3, 눈은 4로 분류할 수 있다. 2. 세개의 값을 어떻게 분류 할 것인가, 이때 쓰는 방법이 One-vs-all 또는 One-vs-rest라는 방법이다. 1. One vs all이라는 방법은 간단하다 분류하려는 대상을 놓고, 그 나머지는 하나로 묶은 후 표준 로지스틱 리그레션을 시행한다. 2. 3개의 분류군이 있다면, 위의 그림과 같이 가설을 세계 만들어 3번의 표준 로지스틱 리그레션을 수행한다. 3. 그렇다면 어떻게 분류를 하느냐? 세가지 가설을 기준으로 모두에 대해 그것이 각..

티스토리툴바