BraveTiger

CNN(Convolutional Neural Networks): 합성곱신경망 Convolution이라는 전처리 작업이 들어가는 Neural Network 모델 CNN은 이미지를 그대로 받음으로써 공간적/지역적 정보를 유지한 채 특성(feature)들의 계층을 빌드업 이미지 전체보다는 부분을 보는 것, 그리고 이미지의 한 픽셀과 주변 픽셀들의 연관성을 살리는 것 ※ CNN? DNN은 기본적으로 1차원 형태의 데이터를 사용 만약 이미지가 입력값이 되는 경우 이것을 flatten시켜서 한줄 데이터로 만들어야 하는데 이 과정에서 이미지의 공간적/지역적 정보(spatial/topological information)가 손실 또한 추상화과정 없이 바로 연산과정으로 넘어가 버리기 때문에 학습시간과 능률의 효율성이 저..

Overfitting : Deep Neural Network(은닉층의 개수가 많은 경우)에서 과대적합이 발생할 확률이 높다. ※ 모델링 목적 학습용 데이터에 있는 패턴으로, 그 외 데이터(모집단 전체)를 적절히 예측 모델은 학습용 데이터를 잘 설명할 뿐만 아니라, 다른 데이터도 잘 예측해야 한다. 즉 일반화된 성능을 기대한다. 일반화 = 적절한 복잡도 = 적절한 예측력 1. 데이터의 양을 늘리기 모델은 데이터의 양이 적을 경우, 해당 데이터의 특정 패턴이나 노이즈까지 쉽게 암기하기 되므로 과적합 현상이 발생할 확률이 늘어난다. 그렇기 때문에 데이터의 양을 늘릴 수록 모델은 데이터의 일반적인 패턴을 학습하여 과적합을 방지할 수 있다. 딥러닝에서 데이터 증식 또는 증강(Data Augmentation)을 통..

Overfitting 해결법 : Deep Neural Network(은닉층의 개수가 많은 경우)에서 과대적합이 발생할 확률이 높다. 데이터의 양을 늘려준다. Regularization 사용 L1/L2 Regularization: Weight가 작아지도록 학습하여 Outlier의 영향을 덜 받도록 하는 방법 L1 Regularization(Lasso) Cost function 계산 시 L1 norm을 사용하여 weight의 절댓값을 더해주는 방법 Feature selection 가능, sparse model에 적합 L2 Regularization(Ridge) Cost function 계산 시 L2 norm을 사용하여 weight의 제곱값을 더해주는 방법 weight가 작아지지만 제거되지 않는다. DropO..

Deep learning(딥러닝) DNN(Deep Neural Network)을 이용한 머신러닝 기법 hidden layer가 2개 이상인 network를 의미 다층의 layer를 통해 복잡한 데이터 학습이 가능 overfitting이 쉽게 일어나고, 학습시간이 오래 걸림 각 layer의 역할 1. Input layer 데이터를 받아 hidden layer의 모든 Neuron으로 재분배 2. Hidden layer 데이터의 특성 파악 3. Ouput layer hidden layer의 신호를 받아 전체 신경망의 출력 패턴을 정함 ※ Hidden layer 은닉 층과 은닉 노드의 수는 분석가가 분석 경험에 의해 설정한다. hidden layer가 너무 적은 경우 네트워크가 복잡한 의사결정 경계를 만들 수 ..

인공신경망 사람의 뇌 속 뉴런의 작용을 본떠 패턴을 구성한 컴퓨팅 시스템 분류 및 예측이 가능 입력층, 은닉층, 출력층 3개의 층으로 구성 Single Layer Perceptron(은닉층 없음) SLP의 문제점은 XOR문제를 해결할 수 없다는 것! XOR문제: 두 값이 같으면 1, 다르면 0을 출력하는 문제 Multi Layer Perceptron(은닉층 1개 이상) 각 층(Layer)에 node가 여러 개 포함되어 있다. 인공신경망의 학습이란? 입력에 대한 올바른 출력이 나오도록 가중치 Weight를 조절하는 것 파라미터: 가중치 (Weight) -> 입력이 출력에 미치는 영향 하이퍼 파라미터: 학습률(leaning rate), 배치 크기(batch size), hidden layer 수, hiden..

KT Aivle School에서 ASSOCIATE 시험까지 지원해 줘서 지난번에 이어 ASSOCIATE시험 후기와 팁입니다. AICE는 AICertificate for Everyone 개인의 AI 활용 역량을 확인하고 인증받을 수 있는 KT 자체 개발 민간자격증입니다. 나머지 내용은 AICE 홈페이지에 자세히 나와있고 다양한 기관에서 AI 활용을 위해 AICE를 도입하고 있습니다. Chat gpt의 등장으로 데이터 리터러시에 이어 AI 리터러시 역량이 강조되는 현재 AI산업에 관심이 있는 분이라면 자신의 역량을 시험해볼 수 있는 좋은 기회입니다. 후기를 쓰기 전에 다음과 사전 학습이 필요 혹은 완료된 분께 적합한 시험입니다. - 파이썬 기초에 대해 기본적인 선수 지식이 필요합니다. - 데이터 분석을 위한..

주제: 스마트 워치 데이터 분석 목표: AI 분류 CASE 미션 해결을 통해 데이터 분석, 모델링 역량을 향상한다. 개요 일단 프로젝트의 도입부터 흥미를 불러오는 주제였다. DX컨설턴트가 되었다고 가정과 함께 Watch사의 헬스케어 서비스 출시를 앞두고 Smart Watch23 버전에 "계단 오르기" 운동을 감지할 수 있는 기능을 탑재를 위해 6가지 행동 데이터 중 "계단 오르기"를 분류할 수 있는 AI모델링 상황이 주어졌다. 실무자로서 받을 수 있을법한 요청과 제안이 다소 흥미로웠다. 또 머신러닝 기간 동안 배운 분류 모델링을 직접 실습해 볼 수 있는 기회였다. 궁극적인 목표는 real data에서 30개의 데이터가 행동을 분류하지 못했고 모델링을 통해 real data에 대한 행동의 분류였다. 센서 ..

부스팅(Boosting) 여러 개의 약한 학습기를 순차적로 학습/예측하면서 잘못 예측한 데이터나 학습 트리에 가중치 부여를 통해 오류를 개선해 나가며 학습하는 방식 이전 분류기 학습 결과를 토대로 다음 분류기 학습 데이터 샘플 가중치를 조정하여 학습을 진행한다. 대표적인 부스팅 알고리즘 AdaBoost GBM(Gradient Boosting Machine) XGBoost LightGBM CatBoost 부스팅은 앙상블 아이디어에서 Sequential이 추가된 형태 앙상블의 아이디어 모델이 학습 데이터에 편향되어 Overfitting되는 것을 막기 위해 약한 모델을 여러 개 결합하여 결과를 종합함 부스팅 = Sequential + 앙상블 연속적인 약한 분류기의 순차적인 업데이트를 통해 결과를 개선한다. 이..

앙상블 학습(Ensemble) 여러 개의 분류기를 생성하고 그 예측을 결합함으로써 보다 정확한 최종 예측을 도출하는 기법 분류기(= base model, weak model, classifier, base learner, single learner 등 다양한 용어로 불린다.) 앙상블 학습의 목표는 다양한 분류기의 예측 결과를 결합함으로 단일 분류기보다 신뢰성이 높은 예측값을 얻는 것 앙상블의 유형은 일반적으로 보팅(voting), 배깅(bagging), 부스팅(boosting)으로 구분할 수 있으며 이외 스태킹(stacking) 등의 기법이 있다. 대표적인 배깅은 랜덤 포레스트 대표적인 부스팅은 에이다 부스팅, 그래디언트 부스팅, XGB, LGBM 일반적으로 정형 데이터의 분류나 회귀에서 GBM 부스팅 ..

Feature Selection 모델을 구성하는 주요 피처들을 선택 불필요한 다수의 피처들로 인해 모델 성능을 떨어뜨릴 가능성(OverFitting) 제거 설명 가능한 모델이 될 수 있도록 피처들을 선별 Feature Selection의 유형 feature의 분포 feature간의 상관 결정값과 독립성 feature importance 기반 Sklearn Feature Selection 지원 모델 기반 RFE(Recursive Feature Elimination) 모델 최초 학습 후 Feature 중요도 산정 feature 중요도가 낮은 속성들을 차례로 제거해 나가면서 반복적으로 학습/평가를 수행하여 최적의 feature 추출 수행시간이 오래 걸리고, 중요도가 낮은 feature를 제거하는 매커니즘이 정..