✨ AI
-
[BERT] BERT에 대해 쉽게 알아보기1 - BERT는 무엇인가, 동작 구조✨ AI/NLP 2020. 2. 12. 12:04
● 언어모델 BERT BERT : Pre-training of Deep Bidirectional Trnasformers for Language Understanding 구글에서 개발한 NLP(자연어처리) 사전 훈련 기술이며, 특정 분야에 국한된 기술이 아니라 모든 자연어 처리 분야에서 좋은 성능을 내는 범용 Language Model입니다. 11개 이상의 자연어처리 과제에서 BERT가 최첨단 성능을 발휘한다고 하지만 그 이유는 잘 알려져 있지 않다고 합니다. 하지만 BERT는 지금까지 자연어처리에 활용하였던 앙상블 모델보다 더 좋은 성능을 내고 있어서 많은 관심을 받고 있는 언어모델 입니다. ○ 그래서 BERT가 과연 무엇인가. 처음에 BERT라는 모델을 접하였을 때, 단지 LSTM, CNN, 앙상블 모..
-
[딥러닝] Bias-Variance Tradeoff 와 앙상블✨ AI 2020. 1. 2. 01:19
● Bias-Variance Tradeoff 머신러닝을 이용해 분류기를 만들때, 테스트 하는 과정을 거치며 많은 에러들이 나오게 되는데 이런 에러들을 MSE로 분석해보면 Bias와 Variance의 식으로 정리됩니다. Learning Error = Bias + Variance Bias : 학습된 분류기와 실제 값 사이의 제곱 에러, 정확도와 비슷한 개념 Variance : 학습된 분류기들이 각기 다른 학습셋에 성능의 변화정도가 급하게 변하는지 안정적으로 변하는지를 나타내는 척도 ○ High Variance & Low Bias 모델이 높은 variance와 낮은 bias를 가질 때, 일부는 정확하게 매핑되지만 많은 데이터가 정확하게 예측하지 못합니다. 모델을 너무 tight하게 학습하여 데이터가 조금만 변..
-
[딥러닝] 선형회귀와 로지스틱회귀✨ AI 2019. 12. 22. 21:28
● 회귀(Regression)란? 먼저 '회귀'라는 말은 '한바퀴 돌아 제자리로 돌아가다'라는 뜻입니다. 먼저 회귀(Regression)이라는 용어 때문에 회귀모델을 이해하는데 약간의 혼란이 있을 수 있습니다. 사실 회귀모델에서 회귀의 정확한 의미는 '평균으로의 회귀'라는 뜻이라고 봐도 무방합니다. 데이터의 실측치와 모델의 실측치 사이의 차이, 즉 회귀식에서 오차항에 대한 관측치(잔차)가 평균으로 회귀하는 것이 바로 '회귀' 입니다. 정확한 모델에서는 잔차가 평균 0으로 회귀하게 됩니다. 어째서 '회귀'라고 불리는가? - 회귀 모델과 회귀 분석이란? 회귀모델이란, 어떤 연속성 데이터 x, y의 원인이라고 추정되는 관계를 추정하기 위해 만든 모델을 말합니다. ( y = f(x) ) 그렇게 추정한 관계를 입..
-
[인공지능] ANN, DNN, CNN, RNN 개념과 차이✨ AI 2019. 12. 10. 20:11
● 인공지능, 머신러닝, 딥러닝 인공지능(Artificial Intelligence)는 인간의 지능이 갖고 있는 기능을 갖춘 컴퓨터 시스템을 뜻하며, 인간의 지능을 기계 등에 인공적으로 구현한 것을 말합니다. 머신러닝(Machine Learning) 혹은 기계학습은 인공지능의 한 분야로, 컴퓨터가 학습할 수 있도록 하는 알고리즘과 기술을 개발하는 분야를 뜻합니다. 딥러닝(Deep Learning)은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화(다량의 복잡한 자료들에서 핵심적인 내용만 추려내는 작업)을 시도하는 기계학습 알고리즘의 집합으로 뜻합니다. 따라서 위의 그림처럼 가장 포괄적인 인공지능 분야 안에 머신러닝이 속하고 있고, 머신러닝 분야 속에는 딥러닝 분야가 속해있다고 볼 수 있겠습니다. ..