[week7] SVMs in Practice

A. Using An SVM

 

1. SVM을 사용 할 때는 패키지를 사용 할 것, 굳이 손으로 쓰지 말고. 파라미터 C와 어떤 커널을 선택할 것인가가 중요하다.

 

2. 예를 들면 커널을 쓰지 않는 Linear Kernel 혹은 비선형 분류를 하는 Gaussian kernel등이 있다.

 

 

 

1. 가우시안 커널을 사용할 때에는 특히, 적절한 크기로 피쳐를 조절해주는 것을 잊지 말아야 한다. 왜냐하면, 하나의 피쳐가 너무 크게 되면, 다른 피쳐들이 정확도에 영향을 줄 수 없기 때문이다.

 

 

1. 유효한 변환, 커널을 만들기 위한 조건이 Mercer의 이론이다. 

 

2. 다양한 다항식 커널이 유효하며, 잘 이용되지 않는 여러 커널들도 있다. 모르면 구글링 할 것.

 

 

 

 

1. 로지스틱 리그레션과 같이, 다중 클래스 분류시에는 one vs all 방법을 사용한다.

 

 

 1. 반드시 정확한 것은 아니지만 교수님은 아래와 같이 알고리즘을 적용한다.

 

1) n이 m보다 크며, n이chlth 10,000이고 m이 10~1000개일 때 : 로지스틱 리그레션 혹은 SVM의 Linear kernel을 사용한다.

 

2) n이 작고, m이 어중간 할때, SVM이나 가우시안 커널을 사용한다.

 

3) n이 작고, m이 클 때, 더 많은 피쳐를 뽑아낸 후, 로지스틱 리그레션과 linear kernel사용

 

인공신경망은 모든 경우에 잘 돌아가지만, 느릴 수 있다.