티스토리

Bruders

검색하기

블로그 홈

Bruders

bruders.tistory.com/m

살아가는 중

구독자: 8

방명록 방문하기

주요 글 목록

[논문리뷰] Transformer (Attention Is All You Need) 해당 글은 wikidocs의 16 - 01 트랜스포머(Transformer)에 대한 글을 정리한 글입니다. 기존 Seq2Seq 모델의 한계Seq2Seq2 모델은 위와 같은 모습을 가진다. 인코더 파트에서는 입력 문장의 모든 단어들을 순차적으로 입력받고, 마지막에 단어들로부터 얻은 모든 정보들을 압축해서 하나의 벡터로 만든다. 이 벡터를 컨텍스트 벡터(Context Vector)라 부른다. 이 Context Vector는 입력 문장에 대한 문맥적인 정보를 담게 되는데 디코더는 해당 벡터를 받아 번역된 단어를 한 개씩 순차적으로 출력한다. 한 단어에 대한 계산은 앞에 단어에 대한 계산이 끝나야 가능하니 정보의 흐름에 병목 현상(Bottleneck)이 일어날 수 있다는 문제점이 있다. 입력 문장의 길이가 짧던.. 공감수 4 댓글수 0 2023. 5. 29.
배치 정규화(Batch Normalization) Normalizing training sets신경망의 훈련을 빠르게 할 수 있는 하나의 방법중에 입력으로 들어오는 Feature들을 정규화(Normalizing)이 있다. 위의 표는 두 개의 입력 특성을 가진 훈련 데이터 세트의 분포(산포도)를 나타낸 표다. 두 단계에 따라서 입력을 정규화한다. 1). 데이터 세트의 평균을 0으로 만든다.μ = 1/m 곱하기 1부터 m까지 $x^{(i)}$의 합으로 평균값을 나타내는 벡터다.x는 그럼 모든 훈련 데이터에 대해서 x-μ로 설정된다. (원래 값에서 평균값을 빼주는 것)0의 평균을 갖게 될 때까지 훈련 세트를 이동한다. 2). 분산을 정규화한다. 아직 특성 x1이 x2보다 더 큰 분포도를 가지니, 이 둘을 맞춰주기 위해 분산을 정규화한다.$σ^2$ = 1/m .. 공감수 1 댓글수 0 2023. 5. 20.
Feature Scaling (ft. 입력 특성 정규화하기) 해당 글은 유튜브 채널(https://www.youtube.com/@Deeplearningai) 의 Machine Learning강의를 정리한 글입니다. 집의 크기와, 방의 개수에 따라 집의 가격을 예측하는 다중 선형 회귀 모델이다. 집의 사이즈의 범위는 방의 개수의 범위보다는 훨씬 클 것이다. 예로 집의 사이즈 범위를 300~2000, 방의 개수의 범위를 0~5라 친다면 큰 가중치를 작은 피처값에 적용하는 것이 합리적일 것이다. 하나의 데이터 샘플을 가지고 가중치를 줘보자. [ $x_1 = 2000, x_2 = 5, 집의 가격 = $500k$ ]하단의 왼쪽 식이 큰 가중치 $w_1$값을 큰 피처값 $x_1$에 부여한 경우다. 최종값이 너무 커져버러셔 실제 집의 가격(500k 달러)와 차이가 너무 크.. 공감수 0 댓글수 0 2023. 5. 19.
최적화 알고리즘 (ft. Momentum, RMSprop, Adam) 경사 하강법보다 빠른 몇 가지 최적화 알고리즘이 존재한다. 그 알고리즘들을 이해하기 위해서는 먼저 지수 가중 평균(Exponentially weighted averages)을 이해해야한다지수 가중 평균에 대한 글은 아래 글을 참조해주세요. 지수 가중 평균(Exponentially weighted averages)해당 글은 유뷰트 채널(https://www.youtube.com/@Deeplearningai) 의 Improving Deep Neural Networks 강의를 정리한 글입니다. Exponentially weighted averages(지수 가중 평균) 경사 하강법보다 빠른 몇 가지 최적화 알고리bruders.tistory.com Gradient descent with momentum모멘텀 알고.. 공감수 1 댓글수 0 2023. 5. 18.
지수 가중 평균(Exponentially weighted averages) 해당 글은 유튜브 채널(https://www.youtube.com/@Deeplearningai) 의 Improving Deep Neural Networks 강의를 정리한 글입니다. Exponentially weighted averages(지수 가중 평균)경사 하강법보다 빠른 몇 가지 최적화 알고리즘이 존재한다. 그 알고리즘들을 이해하기 위해서는 먼저 지수 가중 평균(Exponentially weighted averages)을 이해해야한다. (통계학에서는 지수 가중 이동 평균이라고도 부른다.)지수 가중 평균(=지수 이동 평균)이란, 데이터의 이동 평균을 구할 때, 오래된 데이터가 미치는 영향을 지수적으로 감쇠(exponential decay) 하도록 만들어 주는 방법이다. 지수 가중 평균의 예위의 그래.. 공감수 6 댓글수 0 2023. 5. 17.
경사하강법의 세 종류(BGD, SGD, MGD) 경사하강법(Gradient Descent Algorithm)경사 하강법은 최적화 알고리즘 중 하나로, 손실 함수(Loss Function)의 값을 최소화하는 파라미터[가중치(weight)와 편향(bias)]를 구하기 위해 손실함수에 대한 각 매개변수의 기울기(Gradient)를 이용하는 방법이다.이 때 기울기가 0인 지점인 손실함수의 값이 최저인 곳이므로 그 지점에 도달하기위해 매개변수는 기울기의 반대방향으로 움직여야 한다. 그래서 경사하강법에서 미분값의 -만큼 빼주는 값으로 가중치를 업데이트하는 것이다.위에선 예시로 가중치에 대해서만 얘기했으나 다른 매개변수인 편향(Bias)에 대해서도 동일하게 적용된다. 결국 최적해에 도달할때까지 매개변수 업데이트를 반복(Iteration)하는 것인데 하나의 반복에서.. 공감수 1 댓글수 1 2023. 5. 17.
가중치 규제 (Weight Regularization) ft. 과적합 해결하기 해당 글은 유튜브 채널(https://www.youtube.com/@Deeplearningai) 의 Machine Learning 강의를 정리한 글입니다. 일반적으로 모델의 복잡도를 키우고, 과적합을 막는 방법론을 사용한다고 했다. 과적합을 해결할 수 있는 3가지의 방법을 알아보자. 1. 더 많은 훈련 샘플 모으기 과적합의 경우 각 훈련 샘플에 너무 잘 맞다보니 곡선의 형태가 둘쑥날쑥하다. 더 많은 훈련 샘플을 모으면 그만큼 모델의 들쑥날쑥한 정도가 줄어들어 우측 그래프처럼 일정하게 완만히 올라가는 그래프의 형태를 얻을 수 있다. 2. 피쳐들 중에 몇 개만 선택하기 많은 피처에 비해 데이터셋이 충분치 않으면 과적합을 유발할 수 있으니 필요할 것만 같은 피쳐만 뽑자. 이렇게 예측값(y)에 가장 영향을.. 공감수 0 댓글수 0 2023. 5. 9.
Linear Regression 과 Logistic Regression 해당 글은 유튜브 채널(https://www.youtube.com/@Deeplearningai) 의 Machine Learning 강의를 정리한 글입니다. 분류 문제를 선형 회귀로 해결할 수 없는 이유 선형 회귀(Linear regression) 문제는 집의 크기와 방의 크기 등의 피쳐값을 통해 집의 가격을 알아보는, 즉 예측값이 연속적인 값으로 나오는 문제들에 대해 사용되었다. 그렇다면 어떤 사진이 고양이인지 아닌지 라던가 환자가 어떤 병을 가진지아닌지 또는 숫자 이미지가 0부터 9까지의 숫자 중 어떤 숫자를 가리키는지 등과 같은 분류 문제는 집의 가격을 예측하는 문제처럼 선형식을 통해 해결할 수 있을까? 환자의 종양의 크기를 보고 이 종양이 악성종양인지 아닌지를 예측해야한다고 해보자.해당 분류 문.. 공감수 0 댓글수 0 2023. 5. 9.
Classification: 붓꽃(Iris) 데이터 분석하기 해당 분석글은 https://liz09045.tistory.com/94 글을 토대로 작성되었습니다. 분류(Classification) 문제로 유명한 붓꽃(Iris) 데이터셋을 분석해보자. 붓꽃(Iris)은 위와 같이 3가지의 종류(Setosa, Versicolor, Virginica)를 가지고 있다. 이제 샘플 데이터를 불러와보자. 사이키런(Sklearn)에는 머신 러닝을 쉽게 배울 수 있게 샘플 데이터셋들을 가지고 있다. 그 중에 붓꽃(Iris) 데이터셋도 있으니 이를 로드해준다. 붓꽃 데이터셋은 자료형이 딕셔너리(Dictionary)니 먼저 Key 값을 확인해주자. [ 파이썬에는 딕셔너리라 하는 자료형이 있다. 단어 뜻이 '사전'인 것처럼, 사전처럼 이해하면 된다. "flower" 이 라는 단어에 ".. 공감수 0 댓글수 1 2023. 4. 19.
Train data | Test data | Validation data 차이 평가 데이터(Test data)의 필요성 기계도 사람이 학습과정을 거쳐 능력이 향상되듯이, 반드시 훈련(Training) 과정을 거쳐 성능을 쌓아 올린 후, 그것을 평가하는 단계로 모델 완성을 해줘야 한다. Train set 와 Test set이 필요한 이유가 여기에 있다. '학습/훈련 ⇒ 평가' 는 필수적이다. 위 데이터셋은 여러 증상에 따른 코로나 감염여부에 관한 것이다. 우리는 사람들의 증상에 따라 코로나 감염 여부를 예측하는 모델을 만들고 싶은 거니 맨 오른쪽 초록부분이 우리가 알고 싶은(예측하고 싶은) 목표가 된다. 이 목표에 영향을 미치는 기침, 발열 등의 특징들은 피처(feature)다. 위 데이터는 해당 증상을 가지고 있으면 1, 없으면 0으로 표기하고 있으며 코로나 양성여부의 경우 양성일.. 공감수 2 댓글수 0 2023. 4. 19.
과대적합(Overfitting)과 과소적합(Underfitting) 과소적합(Underfitting) 모델이 너무 단순해서(충분히 복잡하지가 않아서) 데이터의 내재된 구조/패턴을 학습하지 못할 때 발생한다.머신에게 공을 학습시켜야 한다고 가정해보자. 먼저 축구공, 야구공, 농구공 들의 데이터를 보여주면서 "이런 동그란게 공이야" 라고 가르치게 될 것이다. 이렇게 학습이 될 경우, 테스트 과정에서(새로운 데이터) 사과같이 동근 과일이나 보름달도 공으로 예측할 수 있지만, 학습 때 보여주지 않은 다른 수많은 동근 공(테니스공, 배구공, 골프공 등)들도 어쨌든 동그라니 공으로 맞게 예측하게 되는 것이다. 예측 곡선이 학습데이터를 제대로 학습하지 못해, 패턴을 반영하지도 못하니 훈련 데이터에서도 오차가 크고, 동근 애들은 공이 아닐지라도 공이라 예측해버리니 테스트 데이터에서의.. 공감수 7 댓글수 0 2023. 4. 18.
배치 사이즈(batch size) | 에포크(epoch) | 반복(iteration) 차이 기계는 다음과 같은 과정을 통해 학습한다.1. 임의의 파라미터(가중치($w$))를 정한다.2. 이 가중치에 대한 손실값을 구하고 손실 함수(Loss function)의 기울기(Gradient)를 구한다.3. 경사하강법(Gradient Descent)을 이용해 파라미터를 업데이트 한다.4. 업데이트 된 지점에서 새 손실 함수의 기울기를 구한다.5. 3번 다시 실시6. 파라미터가 최적값에 도달하면 파라미터 업데이트를 중지한다. 학습 과정에서의 문제보통 기계를 학습 시킬 때 사용하는 데이터의 양은 매우 많으며 이렇게 많은 데이터를 모두 한꺼번에 모델에 태우게 되면, 컴퓨터가 버티질 못한다. 데이터 크기가 너무 크면 메모리가 부족해진다.한번의 학습에 계산되어야할 파리미터 수가 지나치게 많아져 학습 속도가 .. 공감수 16 댓글수 2 2023. 4. 18.
손실함수(Loss function) 위와 같은 데이터가 있다고 해보자. 각 학생의 공부시간과 성적이 적히 데이터인데, 공부시간에 따른 성적을 예측하는 데이터다. 모델을 정의하기 앞서 y 라는 정답지의 유형이 범주형인지 실수형인지를 따져봐야한다. 위의 예시는 실수형태이니 풀어야 하는 문제가 회귀(Regression) 문제라고 인식할 수 있어야 한다. 회귀문제를 푼다고 정의를 했으니 이제 모델을 정의해야한다. 예시 데이터에서는 피처가 하나뿐이니 단순 선형 회귀 모델에 해당한다. $y = wx + b$ 머신러닝/딥런닝은 가장 정확히 예측할 수 있는, 최적의 매개변숫값을 찾는 작업이다. 모델을 정의했으니 이제 남은 건, 어떻게, 어떤 방법을 이용해 최적의(optimal) 매개변수 값을 찾을지다. (optimal : 데이터를 가장 잘 표현하는.. 공감수 2 댓글수 0 2023. 4. 13.
최적화와 경사하강법(Gradient Descent) '머신러닝은 최적화 과정이다' 라고 얘기할 정도로 머신러닝은 최적화(Optimization)를 굉장히 많이 사용한다.고등학교 수학수업에서 배웠듯이, 최적화 문제에는 주로 미분을 사용하여 푼다. (미분을 통해 최소점과 최대점을 구할 수 있으니) 머신러닝과 딥러닝에서 최적화란 손실 함수(Loss Function)의 값을 최소화하는 파라미터를 구하는 과정이다. [손실함수란 예측값과 실제값의 차이를 비교하는 함수다] 해당 표는 6월 성적과 9월 성적을 토대로 수능 성적을 예측하는 문제에 대한 머신 러닝 모델의 예측값$(y ̂)$과 실제값$(y)$을 나타낸다. 6월 성적과 9월 성적 각각이 가지는 가중치는 동일하게 0.5 로 두었다. 이렇게 두 개의 파라미터의 값이 0.5 일시의 오차가 큰데, 이런 오차를 최소.. 공감수 3 댓글수 0 2023. 4. 12.
다층 퍼셉트론(MLP: Multi Layer Perceptron)과 활성화 함수(Activation function) 저번에 퍼셉트론에 대해서 설명했었다. 위처럼 은닉층이 없는, 훈련 데이터를 받아들이는 입력층(Input layer)과 결과를 도출하는 출력층(Output layer), 이렇게 두가지의 층으로만 이루어져있는 퍼셉트론을 단층 퍼셉트론이라고 한다. XOR 문제를 예시로, 단층퍼셉트론은 선형으로 분리가 가능하지 않은 상황은 처리가 불가능했다. XOR 문제와 같은 선형분리가 불가능한 상황을 층을 더한 다층 퍼셉트론을 이용하여 해결할 수 있게 되었다. 퍼셉트론에 대한 설명은 아내 링크를 참조해주세요. 인공신경망(ANN: Artificial Neural Network)과 퍼셉트론(Perceptrons)인간은 뇌를 통해 학습을 하니까, 기계에도 뇌와 비슷한 구조의 무언가를 만들어 주면 되지 않을까? 라는 질문을 토대로.. 공감수 0 댓글수 0 2023. 4. 12.
인공신경망(ANN: Artificial Neural Network)과 퍼셉트론(Perceptrons) 인간은 뇌를 통해 학습을 하니까, 기계에도 뇌와 비슷한 구조의 무언가를 만들어 주면 되지 않을까? 라는 질문을 토대로 만들어지게 된 것이 인공신경망이다. 그렇담, 먼저 우리 인간의 뇌는 어떻게 작동되는 것일까. 주름진 사람의 뇌에는 '뉴런(Neuron)'이라 하는 대략 1000억개의 신경세포가 존재한다.이 뉴런은 가장 작은 정보처리 단위로서 세포체와 수많은 가지들(수상돌기와 축삭들)로 이루어져 있다. 이 가지와 가지를 이어 신호를 주고받는 부위가 '시냅스(Synapse)'다. 시냅스에서는 전압이 일정 이상이 될 시, 신경 전달 물질을 분비하고 이것이 다음 신경세포에 전달되어 전기신호가 전해지는 것이다. 이렇듯, 인간의 뇌는 마치 전기회로와도 같아 인간의 지능이 컴퓨터로 실현되는게 가능하다고 보게 된 .. 공감수 0 댓글수 0 2023. 4. 11.
인공신경망(Neural Network) 해당 내용은 유튜브 채널 '코딩애플'의 쉬운 딥러닝 강의를 정리한 글입니다.(⇓ 강의링크)https://www.youtube.com/watch?v=8oMwnXfVH14 해당 모델은 저번시간에 만든 머신러닝 모델이다. (https://bruders.tistory.com/70?category=956446 )최적의 매개변수 값을 찾게 시키는게 머신러닝이라 하였다. 초기 단순한 형태의 모델에서 조금 더 복잡하고 정교하게 예측하기 위해서 중간에 층을 더 두면 되지 않을까? 라는 생각이 나온다. 생각이 나오게 된 계기는 "기계가 사람처럼 생각할 수 있으면 좋지 않을까?" 라는 가정이다. 그렇담 사람이 어떻게 생각하는지를 볼 필요가 있다.사람의 뇌에는 뉴런이라 불리는 굉장히 많은 신경세포가 존재한다. 각각.. 공감수 0 댓글수 0 2023. 4. 4.
Machine Learning 유형: 지도 | 비지도 | 강화 학습 가구나 프라모델을 조립해야한다고 가정해보자.이 때, 조립방식도 조립을 시작하게 되는 접근 방법도 다양할 것이다. 설명서가 있다면 설명서대로 따라서 조립하면 될 것이고, 이미 어떻게 조립하는지 스스로 알고 있다면 설명서 없이 조립하면 될 것이다. 하지만 설명서를 읽어도 도통 모르겠거나 알고있는 기본적인 조립방법 또한 알지 못하는 상태라면, 가구나 프라모델의 부품을 어떻게 조립하는지는 조립하는 사람에게 달려있다. 머신러닝도 마찬가지다. 연구하는 과제와 이용할 수 있는 데이터의 종류에 따라 이에 적합한 학습 모델을 사용해 알고리즘을 학습시키도록 한다. 여기서 알고리즘을 학습 시키는 방법은 위의 가구조립 예처럼 다양한 방식이 존재한다. 이 방식에는 크게 지도 방식에 따라 4가지 유형으로 나뉜다. 지도 학.. 공감수 1 댓글수 0 2023. 4. 4.
Machine Learning 기계 학습 개념 해당 내용은 책 Maschine Learning 기계학습 (한빛아카데미 | 오일석) 을 요약 및 정리한 글입니다. 머신러닝에 대해서 좀 더 깊이 알아보자. 기계 학습 개념 아래 예시를 통해 기계 학습의 개념을 알아보도록 하자. 아래 그래프에서 가로축은 시간이고 세로축은 물체의 이동한 위치다. 물론 다른 여러 상황이 될 수도 있고. 2초, 4초, 6초 점을 샘플링해 물체의 이동 위치를 측정한 결과, 3.0, 4.0, 5.0, 6.0 이렇게 4개의 값을 얻었다고 가정 시, 이때 임의의 시간에 대한 물체의 위치를 예측하는 문제를 풀어야 한다. 기계학습은 이러한 예측(Prediction) 문제를 푸는 것이며, 이 예측 문제는 회귀(Regression)와 분류(Classification)로 나뉜다. 위에 예시처럼.. 공감수 1 댓글수 0 2023. 4. 3.
Machine Learning 기계학습이란? 인간의 지능은 컴퓨터로 실현될 수 있는가? 라는 단순한 질문에서 시작된다.먼저, 인간의 뇌를 생각해보자. 주름진 사람의 뇌에는 '뉴런(Neuron)'이라 하는 대략 1000억개의 신경세포가 존재한다. 타체세포와 달리 신경세포에는 수많은 가지(축삭과 가지돌기)들이 뻗어나와 서로 연결되어 있는데, 이 가지와 가지를 이어 신호를 주고받는 부위가 '시냅스(Synapse)'다. 시냅스에서는 전압이 일정 이상이 될 시, 신경 전달 물질을 분비하고 이것이 다음 신경세포에 전달되어 전기신호가 전해진다. 따라서 인간의 뇌는 전기회로와도 같아 인간의 지능이 컴퓨터로 실현되는게 가능하다. 머신러닝에 대해 알아보기 전에 먼저 인공지능에 대해 알고 가자. 인공지능(Artificial Intelligence, AI) 인공지능.. 공감수 0 댓글수 0 2023. 4. 2.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.