Yongwoo Song

[논문 리뷰] Improving Language Understanding by Generative Pre-Training

Research

[논문 리뷰] Improving Language Understanding by Generative Pre-Training

이번 시간에는 GPT-1 논문을 리뷰합니다. BERT와 함께 NLP에 한 획은 그은 모델 중 하나로, 이때부터 NLP 프리트레인과 파인튜닝 모델이 힘이 실리기 시작하였습니다. 최근 GPT-1 모델의 후속작으로 GPT-3 모델까지 발표되었는데, 매우 강력한 성능이 특징입니다. 관련 포스트는 링크를 참고해주세요. 그럼 지금부터 GPT-1 모델을 알아보겠습니다. 논문은 링크에서 확인할 수 있습니다. Abstract & Introduction

By Yongwoo Song
[논문 리뷰] RoBERTa: A Robustly Optimized BERT Pretraining Approach

Research

[논문 리뷰] RoBERTa: A Robustly Optimized BERT Pretraining Approach

이번 시간에는 RoBERTa 논문을 리뷰합니다. RoBERTa는 BERT의 파생 모델로, 기존 모델에 추가적인 학습 방법을 제시하여 성능을 향상시켰습니다. 모델 구조에 큰 변화 없이 학습 방법을 살짝 수정한 것만으로도 모델의 성능을 크게 올릴 수 있다는 점이 인상적인 논문입니다. 그럼 지금부터 RoBERTa 논문 리뷰를 시작합니다 😊 원활한 이해를 위해 실제 논문과 글의 순서나 구성을

By Yongwoo Song
[논문 리뷰] ALBERT: A Lite BERT for Self-supervised Learning of Language Representations

Research

[논문 리뷰] ALBERT: A Lite BERT for Self-supervised Learning of Language Representations

이번 시간에는 ALBERT 논문을 리뷰합니다. ALBERT는 BERT의 파생 모델입니다. 두가지 파라미터를 줄이는 기법을 통해 기존 BERT 모델보다 적은 파라미터와 학습 시간으로 더욱 좋은 성능을 낸 것이 특징입니다. BERT 논문 리뷰는 링크에서 확인할 수 있습니다. 😊 원활한 이해를 위해 실제 논문과 글의 순서나 구성을 살짝 바꾸었습니다. Abstract * NLP 모델 사이즈 증가는 성능

By Yongwoo Song
한국어 NLP는 왜 어려울까?

Research

한국어 NLP는 왜 어려울까?

한국어 NLP는 왜 어려울까? 컴퓨터에게 사람의 말을 알아듣게 하는 것은 매우 어려운 일입니다. 그중에서도 한국어 NLP는 다른 언어들(Ex. 영어, 중국어)보다 훨씬 어려운 편에 속합니다. 그 이유에 대해서 알아봅니다. 1. 교착어 한국어는 교착어에 속합니다. 교착어란 어간에 접사가 붙어 단어를 이루고 의미와 문법적 기능이 정해지는 언어입니다. 예를 들어 나는 밥을

By Yongwoo Song
[논문 리뷰] BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension

Research

[논문 리뷰] BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension

이번 시간에는 BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension 논문을 리뷰합니다. BART는 Facebook에서 발표한 모델로, 기존 트랜스포머 구조에 새로운 사전 학습 태스크를 제시하였습니다. 텍스트 생성과 이해에서 SOTA 성능을 보이며, 주목을 받은 모델입니다. Abstract & Introduction * BART는 seq2seq 모델의 프리트레인을 위한 denoising autoencoder * BART는 기초적인 Transformer 기반

By Yongwoo Song
머신러닝/딥러닝 논문 어떻게 잘 읽을 수 있을까?

Research

머신러닝/딥러닝 논문 어떻게 잘 읽을 수 있을까?

이번 시간에는 Andrew Ng 교수님의 Stanford ML 수업에서 다룬 효율적인 논문 읽기를 정리해보았습니다. 원본 강좌는 아래에서 확인할 수 있습니다. Stanford CS230: Deep Learning | Autumn 2018 | Lecture 8 - Career Advice / Reading Research Papers 논문 읽기뿐만 아니라 ML 커리어 발전에 대한 내용도 있습니다! 관심 있으신 분들은 강의 영상을 보시는 것을 추천

By Yongwoo Song
[논문 리뷰] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

Research

[논문 리뷰] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

이번 시간에는 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 논문을 리뷰합니다. BERT는 등장과 동시에 Question Answering 등 다양한 NLP 문제들에 강력한 성능을 보여주며 NLP 분야에 한 획을 그었습니다. 위 그림은 bert 모델의 사용 추이를 나타낸 그래프입니다. 2022년 현재까지도 많은 논문에서 BERT 모델을 다루는 것을 볼 수 있습니다. 이처럼

By Yongwoo Song
[논문 리뷰] Attention is All You Need

Research

[논문 리뷰] Attention is All You Need

이번 시간에는 NLP 발전에 한 획을 그은 Attention is All You Need 논문을 리뷰합니다. 본 논문에서는 self-attention만을 사용한 transformer라는 모델을 제안합니다. 기존 Seq2Seq 등의 모델들은 순차적인 연산이라는 특성 때문에 성능 향상에 제약이 있었습니다. 하지만 Transformer는 병렬화 연산을 가능하게하여 해당 문제를 해결하였습니다. 이를 통해 연산 속도를 높임과 동시에 SOTA 성능을 달성할

By Yongwoo Song
2021년 회고 - 2편

Life

2021년 회고 - 2편

2021 Review 1편에 이어 2021년 Review 2편을 연재합니다. (1편을 작성한지 벌써 한 달이나 흘렀습니다. 새해부터 게으름이… 😢) 2편 리뷰의 내용은 아래와 같습니다. * FacerAin Blog 개발기 * Dongju AI 개발 FacerAin Blog 2021년도에 가장 기억에 남는 프로젝트는 개인 블로그 제작입니다. 처음에는 많이들 사용하는 Tistory나 Velog로 블로그를 시작하려고 했었습니다. 하지만 그래도 명색이 개발자인데 개인

By Yongwoo Song
언어 모델 평가 지표 PPL 알아보기

Research

언어 모델 평가 지표 PPL 알아보기

이번 시간에는 언어 모델을 평가할 때 사용하는 지표인 PPL(Perplexity) 에 대해서 알아봅니다. PPL의 의미 A와 B 두가지 언어 모델이 있다고 가정해봅시다. 두가지 중 어떤 언어 모델의 성능이 더 좋다고 말할 수 있을까요? 모델 간 성능 비교를 위해서는 평가 지표라는 것이 필요합니다. 언어 모델(Language Model)을 평가할 때 사용하는

By Yongwoo Song
[논문 리뷰] Neural Machine Translation By Jointly Learning To Align And Translate

Research

[논문 리뷰] Neural Machine Translation By Jointly Learning To Align And Translate

이번 시간에는 Neural Machine Translation By Jointly Learning To Align And Translate 논문을 리뷰합니다. 기존 Seq2Seq 모델은 Encoder에서 입력 문장을 하나의 context vector에 정보를 압축해서 번역을 진행했습니다. 하지만 이는 Decoder에 정보를 넘겨줄 때 정보의 손실이 일어나 긴 문장에 대해서는 번역을 잘 수행하지 못하는 한계가 있었습니다. 이 문제를 해결하기 위해서 본

By Yongwoo Song
[논문 리뷰] Learning Phrase Representation using RNN Encoder-Decoder for Statistical Machine Translation

Research

[논문 리뷰] Learning Phrase Representation using RNN Encoder-Decoder for Statistical Machine Translation

Learning Phrase Representation using RNN Encoder-Decoder for Statistical Machine Translation 논문을 리뷰합니다. 2014년에 Kyunghyun Cho 교수님 연구팀이 발표한 논문으로, 현재도 자주 쓰이는 seq2seq의 기초가 되었습니다. 원문은 링크에서 확인할 수 있습니다. Abstract * 연구팀은 RNN Encoder-Decoder 모델을 제안합니다. 지금 널리 알려진 Seq2Seq 모델의 토대가 된 모델입니다. * 모델은 입력 문장(source sentence) 이

By Yongwoo Song