Yongwoo Song

Engineering

Canary deployment 파헤치기

이번 시간에는 인스턴스 배포 방법 중 하나인 카나리 (Canary) 배포에 대해 알아봅니다. 무중단 배포? 본격적으로 카나리 배포를 알아보기 전에 먼저 무중단 배포에 대해 살펴봅시다. 우리가 새로 업그레이드 된 버전의 서비스를 사용자에게 배포하려면 어떻게 해야할까요? 가장 간단한 방법은 기존 버전의 서버를 잠시 멈추고, 새로운 버전의 서비스로 업그레이드 하는 것입니다. 하지만 이

Life

좋은 팀 문화 만들기

이번 시간에는 제가 부스트캠프 AITech 4기를 진행하며, 함께했던 팀 지구코딩실에서 어떻게 협업을 했었는지 작성했던 글을 공유드리고자 합니다. 팀에 협업 문화를 어떻게 도입하면 좋을지 고민하시는 분들에게 도움이 되셨으면 좋겠습니다! 시작하며 이번 대회에서 지구코딩실의 주요 목표 중 하나는 “우리 함 제대로 된 협업을 해보자” 였습니다! 이를 위해 대회 전 일주일 간 지구코딩실이

Engineering

Huggingface transformers 컨트리뷰션 후기

1. 개요 안녕하세요! 이번에 우연히 허깅페이스의 transformer 라이브러리에 contribution 하게 되었습니다. contribution이 처음이라 참 이런저런 우여곡절이 있었는데요. contribution의 과정을 소개 드려보고자 합니다 😊 2. 무엇을 컨트리뷰션 하신거죠? 컨트리뷰션 링크 사실 대단한 건 아니고, 사소한 주석 오타 수정에 기여했습니다! 이번에 허깅페이스 트랜스포머 분석 프로젝트 중에, ElectraTokenizer 의 Docstring이 Electra가 아닌 BERT로 잘못

Life

2022년 회고 - 1편

2022 회고 2023년 토끼 띠의 한해가 밝았습니다. 🐰 블로그를 처음 시작하고 2021년 회고를 작성했던게 엊그제 같은데, 벌써 2022 회고를 작성하게 되었습니다. 이번 한 해는 (드디어!) 군대도 전역하고, 네이버 부스트캠프 aitech도 참여하는 등 나름 굵직굵직한 일들이 많이 있었습니다. 특히 부스트캠프에서 좋은 동료들도 만나고, 값어치를 매길 수 없는 소중한 경험들, 지식들을 키울 수

Engineering

Pythonic 코드를 위한 10가지 가이드

이번 시간에는 좋은 파이썬 코드를 위한 파이써닉한 코드를 위해 꼭 알아야 할 TOP 10에 대해 살펴봅니다. 1. PEP8 스타일 가이드 따르기 파이썬은 PEP8 (Python Enhancement Proposal)이라는 코드 스타일 가이드가 있습니다. 공백, 들여쓰기, 문법 등을 어떻게 하면 좋을지 상세하게 작성되어 있습니다. 그렇다고 이 모든 규칙들을 외울 필요는 없습니다. 바로 Black,

Research

[논문 리뷰] DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter

이번 시간엔 BERT의 지식 증류 버전인 DistilBERT를 살펴봅니다. 최근 모델 사이즈가 커짐에 따라 성능도 비약적으로 향상하였지만, 컴퓨팅 자원이 많이 들고, 실제 서비스에 활용하기 어렵다는 단점도 생겼습니다. 해당 논문에서 지식 증류 기법 통해 이 문제를 어떻게 해결하였는지 확인해보세요 :) 논문은 링크에서 확인할 수 있습니다. Abstract * 최근 NLP 분야에서 큰 사이즈의 프리트레인 모델들을

Research

[논문 리뷰] Fine-tune BERT for Extractive Summarization

이번 시간에는 추출 요약을 수행하는 BERTSUM 모델에 대해 알아보겠습니다. 기존 BERT 구조에서 큰 변화없이 단순한 응용으로 추출 요약이 가능한 것이 인상적입니다. 논문은 링크에서 확인할 수 있습니다. Abstract * 연구팀은 BERTSUM이라는 추출 요약을 할 수 있는 BERT 모델을 제시 * 관련 요약 태스크에서 SOTA 성능을 달성 Introduction 문서 요약은 한 문서에서 중요한 정보를

Research

딥러닝 모델 성능 개선 Tip 모음

본 포스트는 경희대학교 컴퓨터공학과 동아리 D.COM에서 진행한 D.Competition 대회에서 배부한 모델 성능 향상 가이드라인입니다. 전체적인 내용은 Andrew Ng 교수의 Deep Learning 수업을 참고하였습니다. 틀리거나 잘못된 내용이 있으면 언제나 의견 부탁드립니다 😊 Introduction 본 문서는 여러분들의 모델의 성능을 끌어올릴 수 있는 Tip을 담은 로드맵을 제시하고자 합니다. 해당 내용을 바탕으로 더욱

Research

[논문 리뷰] Language Models are Unsupervised Multitask Learners

이번 시간에는 GPT-2 논문을 리뷰합니다. GPT-2는 GPT-1의 후속 모델로,이전 모델과 전체적인 구조는 비슷하나, 보다 더 크고 많은 학습 데이터와 파라미터로 성능을 높였습니다. GPT-1과 어떤 차이점이 있는지 위주로 논문을 살펴보도록 하겠습니다. 지금부터 GPT-2 논문 리뷰를 시작하겠습니다! GPT-1 논문 리뷰는 링크에서 확인할 수 있습니다 😄 Abstract * 연구팀은 명시적인 지도 학습 없이도(제로샷

Research

[논문 리뷰] Improving Language Understanding by Generative Pre-Training

이번 시간에는 GPT-1 논문을 리뷰합니다. BERT와 함께 NLP에 한 획은 그은 모델 중 하나로, 이때부터 NLP 프리트레인과 파인튜닝 모델이 힘이 실리기 시작하였습니다. 최근 GPT-1 모델의 후속작으로 GPT-3 모델까지 발표되었는데, 매우 강력한 성능이 특징입니다. 관련 포스트는 링크를 참고해주세요. 그럼 지금부터 GPT-1 모델을 알아보겠습니다. 논문은 링크에서 확인할 수 있습니다. Abstract & Introduction

Research

[논문 리뷰] RoBERTa: A Robustly Optimized BERT Pretraining Approach

이번 시간에는 RoBERTa 논문을 리뷰합니다. RoBERTa는 BERT의 파생 모델로, 기존 모델에 추가적인 학습 방법을 제시하여 성능을 향상시켰습니다. 모델 구조에 큰 변화 없이 학습 방법을 살짝 수정한 것만으로도 모델의 성능을 크게 올릴 수 있다는 점이 인상적인 논문입니다. 그럼 지금부터 RoBERTa 논문 리뷰를 시작합니다 😊 원활한 이해를 위해 실제 논문과 글의 순서나 구성을

Research

[논문 리뷰] ALBERT: A Lite BERT for Self-supervised Learning of Language Representations

이번 시간에는 ALBERT 논문을 리뷰합니다. ALBERT는 BERT의 파생 모델입니다. 두가지 파라미터를 줄이는 기법을 통해 기존 BERT 모델보다 적은 파라미터와 학습 시간으로 더욱 좋은 성능을 낸 것이 특징입니다. BERT 논문 리뷰는 링크에서 확인할 수 있습니다. 😊 원활한 이해를 위해 실제 논문과 글의 순서나 구성을 살짝 바꾸었습니다. Abstract * NLP 모델 사이즈 증가는 성능