학습 곡선을 통해 과대 적합과 과소 적합을 본다 과대 적합 모델이 훈련 세트에서는 좋은 성능을 내나 검증 세트에서는 낮은 성능을 내는 경우 훈련 세트의 정확도가 99%일때 검증 세트의 정확도가 80%라면 의심할 수 있다. 과소 적합 훈련 세트와 검증 세트의 성능 차이가 크지 않으나 모두 낮은 성능을 내는 경우 훈련 세트의 크기와 과대적합, 과소 적합 분석 첫 번째 학습 곡선 과대 적합의 전형적인 모습 훈련 세트와 검증 세트의 성능의 간격이 크다 분산이 크다(high variance) 원인으로는 훈련 세트에 충분히 다양한 패턴의 샘플이 포함되지 않은 경우 해결 방안 더 많은 훈련 샘플로 검증 세트의 성능 향상 훈련 샘플을 모을 수 없는 경우 가중치 제한으로 조정 가중치 제한을 하는 방법 == 모델의 복잡도..

로지스틱 회귀로 모델 훈련하고 평가하기 - 훈련 데이터 세트와 테스트 세트로 분류 from sklearn.datasets import load_breast_cancer from sklearn.model_selection import train_test_split cancer = load_breast_cancer() x = cancer.data y = cancer.target x_train_all, x_test, y_train_all, y_test = train_test_split(x, y, startify=y, test_size=0.2, random_state=43) - SDGClassifier 클래스를 이용해 모델 훈련 from sklearn.linear_model import SGDClassifier..

사이킷런에 포함된 경사 하강법 클래스 사용 SGDClassifier이용 사이킷런으로 경사 하강법 적용 로지스틱 손실 함수 지정 SGDClassifier 클래스에 로지스틱 회귀를 적용하려면 loss 매개변수에 손실 함수로 log를 지정 from sklearn.linear_model import SGDClassifier# 리니어 모델속의 SGDClassifier 임포트 sgd = SGDClassifier(loss='log', max_iter=100, tol=1e-3, random_state=42) 매개변수 설명 max_iter 반복 횟수 지정 random_state 반복 실행시 결과 동일을 위해 난수 초깃값 지정 tol 반복시 로지스틱 손실 값이 지정값만큼 감소되지 않을 경우 반복중단 사이킷런으로 훈련 후 ..

일반적인 신경망 - 활성화 함수는 은닉층과 출력층에 포함된 한 부분으로 간주 단일층 신경망 단일층 신경망 구현 앞서 진행한 LogisticNeuron 클래스를 복사하여 SingleLayer로 변경하여 시작 손실 함수의 결괏값 조정해 저장 기능 추가 손실 함수 결괏값 저장 리스트 self.losses를 제작 샘플마다 손실 함수를 계산하고 그 결괏값을 모두 더한 다음 샘플 개수로 나눈 평균을 저장 self.activation()으로 계산하는 a는 np.log()의 계산을 위해 한번더 조정 np.clip을 이용해 조정 class SingleLayer : def __init__(self) : self.w = None self.b = None self.losses = [] .... def fit(self, x, ..

모델의 성능 평가를 위한 훈련 세트와 테스트 세트 훈련된 모델의 실전 성능을 일반화 성능(generalization performance)라 명명 모델을 한번 학습한 데이터 세트로 모델 성능 테스트는 부적합 올바른 모델 성능 측정을 위해 훈련 데이터 세트를 두 덩어리로 나누어 하나는 훈련, 하나는 테스트에 사용 이를 훈련 세트(training set)와 테스트 세트(test set)이라 함 훈련 데이터 세트를 훈련 세트와 테스트 세트로 나누는 규칙 - 훈련 데이터 세트를 나눌 때는 테스트 세트보다 훈련 세트가 더 많아야 한다. - 훈련 데이터 세트를 나누기 전에 양성, 음성 클래스가 훈련 세트나 테스트 세트의 어느 한쪽에 몰리지 않도록 한다. 훈련 세트와 테스트 세트 나누기 양성, 음성의 클래스가 고르게..

위스콘신 유방암 데이터 세트(Wisconsin breast cancer dataset)이용 유방암 데이터 세트는 유방암 세포의 특징 10개에 대한 평균, 표준오차, 최대 이상치 기록 해결과제) 샘플이 악성(True)인지 정상(False)인지 구분하는 이진 분류 문제 의학 이진 분류 좋음 양성 종양(정상 종양) 음성 샘플 나쁨 악성 종양 양성 샘플(해결과제) load_breast_cancer() 함수 호출 사이킷 런의 datasets 모듈 아래 load_breast_cancer() 함수를 사용 Bunch 클래스 객체 호출 from sklearn.datasets import load_breast_cancer import matplotlib.pyplot as plt import numpy as np cance..