[ADP 필기] 인공신경망 분석

<인공신경망 분석 (ANN)>

– 인간 뇌를 기반으로 한 추론 모델 (뉴런- 기본 정보 처리 단위)
– 가중치가 있는 링크들로 연결됨
– 여러 입력 신호를 받지만 출력 신호는 1개 → 가중치를 반복적으로 조정하며 학습
– 전이함수(활성화 함수) 사용

<뉴런의 활성화 함수>

① 시그모이드 함수 – 이진 분류

– 0~1의 확률 값을 가짐

② softmax 함수 (표준화 지수 함수) – 다중 분류

– 출력값이 여러 개로 주어지고, 목표치가 다범주인 경우 각 범주에 속할 사후확률 제공

③ relu 함수

– 입력값 0하는 0, 0초과는 X값을 가지는 함수

*단일 뉴런의 학습(단층 퍼셉트론)

*출처: https://heung-bae-lee.github.io/2019/12/06/deep_learning01/

• 초편면은 n차원 공간을 2개로 나눔 → 선형 분리 함수로 정의

• 입력변수 → 매우 민감
  – 범주형: 모든 범주에서 일정 빈도 ↑, 각 범주의 빈도가 일정할 때→ 가변수화
  – 연속형: 입력 변수 값들의 범위가 변수 간의 큰 차이가 없을 때 → 로그 변환, 범주화 방법 활용
• 초기값의 선택은 매우중요!!
  – 초기모형은 선형 모델에 가깝고 (0근처) → (w증가) → 비선형모델
• 학습모드
  ① 온라인 학습모드 – 관측값을 순차적으로 하나씩 투입하여 가중치 추정 값이 매번 바뀜
  일반적으로 속도 빠름, 비정상성 자료 good, 국소 최소값 벗어나기 쉬움
  ② 확률적 학습모드 – 온라인 학습모드와 같으나, 관측값의 순서가 랜덤함
  ③ 배치 학습모드 – 전체 훈련자료를 동시에 신경망에 투입
• 은닉층, 은닉노드 ↑ → 과대적합문제
  → 가급적 은닉층은 1개로, 은닉노드 수는 적절히 크게 하고 가중치를 감소(벌점화)