batch vs. online learning

Batch learning (배치 학습) = 오프라인 학습 (offline learning)

• 시스템이 점진적으로 학습할 수 없음. 가용한 데이터를 모두 사용해 훈련시켜야 함
• 일반적으로 오프라인에서 수행 : 시간과 자원을 많이 소모하기 때문
• 학습한 것을 단지 적용만 = 먼저 시스템을 훈련시키고 그 다음 제품 시스템에 적용하면 더 이상의 학습 없이 실행
• 새로운 데이터에 대해 학습하려면 전체 데이터를 사용해 시스템의 새로운 버전을 처음부터 다시 훈련 → 이전 시스템을 중지시키고 새 시스템으로 교체
• 자원이 제한된 시스템(로봇, 스마트폰), 빠르게 변하는 데이터(주식)에는 비효율

---

Online learning (온라인 학습)

• 데이터를 순차적으로 한 개씩 또는 미니배치라 부르는 작은 묶음 단위로 주입하여 시스템을 훈련
• 매 학습 단계가 빠르고 비용이 적게 들어 즉시 학습 가능 → 연속적으로 데이터를 받고 빠른 변화에 스스로 적응해야하는 시스템에 적합
• 공간 절약 → 새로운 데이터 샘플을 학습하면 학습이 끝난 데이터는 폐기 가능
• 컴퓨터 한 대의 메인 메모리에 들어갈 수 없는 아주 큰 데이터셋 학습 시스템에 적용 가능 = 외부 메모리 학습 : 알고리즘이 데이터 일부를 읽어 들이고 훈련 단계를 수행. 전체 데이터가 모두 적용될 때까지 과정을 반복
  ◾ 외부 메모리 학습은 보통 오프라인으로 실행
• 학습률(learning rate) : 변화하는 데이터에 얼마나 빠르게 적응할 것인지
  ◾ 높으면 : 시스템이 데이터에 빠르게 적응하지만 예전 데이터를 금방 잊음
  ◾ 낮으면 : 느리게 학습하지만 새로운 셋의 대표성 없는 데이터에 덜 민감
• 가장 큰 문제점 : 시스템에 나쁜 데이터가 주입되었을 때 시스템 성능이 점진적으로 감소

★ 더 많은 내용 보러가기 click click! ★