Life

2021년 회고 - 2편

2021 Review 1편에 이어 2021년 Review 2편을 연재합니다. (1편을 작성한지 벌써 한 달이나 흘렀습니다. 새해부터 게으름이… 😢) 2편 리뷰의 내용은 아래와 같습니다. * FacerAin Blog 개발기 * Dongju AI 개발 FacerAin Blog 2021년도에 가장 기억에 남는 프로젝트는 개인 블로그 제작입니다. 처음에는 많이들 사용하는 Tistory나 Velog로 블로그를 시작하려고 했었습니다. 하지만 그래도 명색이 개발자인데 개인

Research

언어 모델 평가 지표 PPL 알아보기

이번 시간에는 언어 모델을 평가할 때 사용하는 지표인 PPL(Perplexity) 에 대해서 알아봅니다. PPL의 의미 A와 B 두가지 언어 모델이 있다고 가정해봅시다. 두가지 중 어떤 언어 모델의 성능이 더 좋다고 말할 수 있을까요? 모델 간 성능 비교를 위해서는 평가 지표라는 것이 필요합니다. 언어 모델(Language Model)을 평가할 때 사용하는

Research

[논문 리뷰] Neural Machine Translation By Jointly Learning To Align And Translate

이번 시간에는 Neural Machine Translation By Jointly Learning To Align And Translate 논문을 리뷰합니다. 기존 Seq2Seq 모델은 Encoder에서 입력 문장을 하나의 context vector에 정보를 압축해서 번역을 진행했습니다. 하지만 이는 Decoder에 정보를 넘겨줄 때 정보의 손실이 일어나 긴 문장에 대해서는 번역을 잘 수행하지 못하는 한계가 있었습니다. 이 문제를 해결하기 위해서 본

Research

[논문 리뷰] Learning Phrase Representation using RNN Encoder-Decoder for Statistical Machine Translation

Learning Phrase Representation using RNN Encoder-Decoder for Statistical Machine Translation 논문을 리뷰합니다. 2014년에 Kyunghyun Cho 교수님 연구팀이 발표한 논문으로, 현재도 자주 쓰이는 seq2seq의 기초가 되었습니다. 원문은 링크에서 확인할 수 있습니다. Abstract * 연구팀은 RNN Encoder-Decoder 모델을 제안합니다. 지금 널리 알려진 Seq2Seq 모델의 토대가 된 모델입니다. * 모델은 입력 문장(source sentence) 이

Life

2021년 회고 - 1편

기존 블로그에서 새롭게 이전하며 작성한 글입니다. 😊 원문은 링크에서 확인할 수 있습니다. 오지 않을 것만 같았던 2022년의 해가 밝았습니다. 새해를 맞이하며, 2021년 필자의 개발 기록을 회고합니다. 필자는 2021년 3월에 육군에 입대하였습니다. 군대라는 환경 특성상 많은 것들이 제한되고 어려운 환경이었지만 나름대로 많은 것들을 배울 수 있는 시간이었습니다. 2021년에는 크게 5가지 활동을 진행하였는데