4-1 초기 인공지능 알고리즘, 로지스틱 회귀

알고리즘의 종류

• 퍼셉트론

  • 1957년 코넬 항공 연구소(Cornell Aeronautical Lab)의 프랑크 로젠 블라트가 발표
  • 최적의 가중치를 학습하는 퍼셉트론(Perceptron)알고리즘 발표
  • 이진 분류(binary classification)를 이용한다
  • 임의의 샘플 데이터를 True나 False로 구분하는 문제

• 퍼셉트론 전체 구조 훑어보기

- 선형 회귀와 유사한 구조를 지님

- 직선 방정식 사용

- 계단 함수(step function) 사용

- 계단 함수를 통과한 값을 다시 가중치와 절편을 업데이트(학습)하는데 이용

w₁x₁ + w₂x₂ + b = z

w₁x₁ + w₂x₂ + b = z  ----- '선형 함수'

 

- 계단 함수는 z가 0보다 크거나 같으면 1, 0보다 작으면 -1로 분류

- 1은 양성 클래스(positive class), -1은 음성 클래스(negative class)

계단 함수 도식

- 퍼셉트론은 선형 함수를 통과한 값 z를 계단 함수로 보내 0보다 큰지, 작은지 검사하여 1 or -1인지 구분

 

• 여러 개의 특성 사용

두개의 특성의 선형 함수

- 아래 숫자(b)는 n번째 특성의 가중치와 입력을 의미

- 특성이 n개인 선형 함수를 표기하기

- 시그마(∑)를 이용해 표기하기

- 상수 항(b)를 시그마 기호 앞에 둔다

- 퍼셉트론은 사이킷런 패키지에서 Perceptron 이라는 이름으로 클래스를 제공 중

 

• 아달린

  • 퍼셉트론 이후 1960년 스탠포드 대학의 버나드 위드로우와 테드 호프가 퍼셉트론을 개선한 적응형 선형 누런을 발표
  • 이를 아달린이라고 부름
  • 선형 함수의 결과를 학습에 사용한다.
  • 계단 함수의 결과는 예측에만 사용된다.
  • 퍼셉트론은 계단 함수의 결과를 학습에 이용

- 역방향 계산이 계단 함수 출력 이후에 일어나지 않고 선형 함수 출력 이후에 진행

- 이외의 요소는 퍼셉트론과 동일

 

• 로지스틱 회귀

- 아달린에서 조금 더 발전

- 선형 함수를 통과시켜 얻은 z를 임계 함수에 보내기 전에 변형시킴

- 이를 활성화 함수(activation function)라 함

- 마지막 단계에서 임계함수(threshold function)를 이용해 예측 수행

 

• 활성화 함수는 비선형 함수를 이용

비선형 함수의 예

- 비선형 함수를 이용하는 이유는 선형 함수와 선형 함수의 수식을 정리하면 하나의 큰 선형함수가 나온다.

- 하나의 큰 선형 함수는 임계 함수 앞에 뉴런을 여러개 쌓아도 결국 선형 함수일 것

- 로지스틱 회귀의 활성화 함수는 '시그모이드 함수'