2025 내일배움캠프 QAQC_2기 본캠프 69일차

안녕하세요! 오늘은 본캠프 69일차입니다!

 

오늘도 공모전 준비를 하며 간간히 강의를 들었습니다!

 

이미지 데이터와 불량검출 1회차입니다!

 

머신러닝 vs 딥러닝 차이점

• 사람의 개입 여부
• 머신러닝: 주어진 데이터를 인간이 처리합니다. 사람이 먼저 컴퓨터에 특정 패턴을 추출하는 방법을 지시하고, 그 이후 컴퓨터가 스스로 데이터의 특징을 분석하고 축적합니다.
• 딥러닝: 컴퓨터가 스스로 데이터를 기반으로 학습할 수 있도록 정해진 신경망을 컴퓨터에게 주고, 경험 중심으로 학습을 수행합니다.

퍼셉트론

• 퍼셉트론: 뉴런 작동 방식에서 착안한 가장 기초적인 형태의 인공 신경망 모델
• 구성요소: 인풋(input), 가중치(connection weight), 편향(bias), 합(sum), 활성화함수(Activation Function)
• 퍼셉트론 수식

 

- Deep Neural Network 구조

- MLP(multi layer Perceptron)

신경망 구성요소

활성화 함수(Activation Function):

• 뉴런의 출력값을 결정하고, 다음 층으로 전달할 값을 지정
• 신경망에서 비선형성을 추가 → 비선형 문제 해결 가능
• 선형 함수는 층을 쌓아도 선형 모델이 되기 때문에 반드시 비선형 함수가 필요

활성화 함수 종류:

시그모이드 함수(Sigmoid)

• 출력값 범위: (0, 1)
• 확률값 출력에 적합 → 이진 분류에서 사용
• 단점:
  • 기울기 소실 문제(Vanishing Gradient) 발생 → 입력값이 크면 기울기가 거의 0이 됨
  • 학습이 잘 안 됨

ReLU (Rectified Linear Unit)

• 출력값 범위: [0, ∞)
• 가장 많이 사용되는 활성화 함수
• 기울기 소실 문제 완화: 오차역전파

• 단점:
  • 죽은 ReLU 문제(Dead ReLU) → 입력값이 0 이하이면 기울기가 0 → 뉴런이 죽음

손실함수(loss function)

• 학습된 신경망으로부터 도출된 결과 값과 실제 정답이 얼마나 차이가 나는지를 계산하는 함수

→ loss function 값이 작을수록 모델 성능이 좋다는 의미입니다.

• 최적의 가중치(weight)를 찾기 위해 손실 함수 값이 최소가 되는 지점을 찾는 것이 중요

1. 회귀 문제 손실 함수

• 연속적인 값을 예측할 때 사용

손실 함수	설명
MSE (Mean Squared Error)	예측값과 실제값의 차이의 제곱 평균
MAE (Mean Absolute Error)	y_i - \hat{y}_i
Huber Loss	이상값(Outlier)에 강함

 

2. 분류 문제 손실 함수

• 클래스(카테고리)를 예측할 때 사용

손실 함수	설명
Binary Cross Entropy	이진 분류 (0 또는 1)에서 사용
Categorical Cross Entropy	다중 클래스 분류에서 사용
Sparse Categorical Cross Entropy	다중 클래스 분류에서 사용

경사 하강법(Gradient Descent)

• 모델의 손실 함수(Loss Function)를 최소화하기 위해 가중치(Weight)를 반복적으로 업데이트하는 알고리즘

Learning Rate

• 경사 하강법(Gradient Descent)에서 **기울기를 따라 이동하는 보폭(step size)**을 결정하는 값입니다.
• 학습 속도와 관련된 하이퍼파라미터. 한 번에 얼마만큼 이동할지를 결정

learning rate 따른 과적합 구분 (loss function 시각화)

Local minima vs Global minimum

• 경사 하강법은 현재 기울기 방향을 따라가기 때문에 local minima에 빠질 위험이 있음
• 모델이 local minima에 빠지지 않고 global minimum을 찾는 것이 학습의 핵심

옵티마이저(Optimizer):

• 경사 하강법의 개선된 버전으로, 손실 함수를 최소화하도록 가중치와 바이어스를 조절하는 알고리즘