nlp
-
2022년 회고 (학부 연구생/CLOVA AI RUSH/카카오브레인 인턴)생각 정리 2022. 12. 31. 23:39
올해 또한 많은 고민들을 거치며 한 발자국씩 나아갔던 것 같다. 그리고 그 과정에서 운이 좋게도 좋은 결과들을 얻어낼 수 있었던, 정말 선물 같은 1년을 보냈다. 올해도 나를 되짚어보며 내년을 마주할 준비를 해보려 한다. 1~9월: 자대 NLP 랩 학부 연구생 작년 회고에서 밝힌 것처럼, 대학원이 어떤 곳인지 직접 경험하고 논문을 읽고 구현하는 능력을 기르고 싶어 자대 NLP 랩에 학부 연구생으로 들어가게 되었다. 학부 연구생 생활을 하며 가장 크게 성장한 역량은 바로 논문 리딩 및 발표였다. 처음 들어갈 땐 논문을 읽어본 경험이 거의 없다시피 했었는데, 5번 가량 논문 세미나 발표를 준비하다 보니 자연스레 논문을 깊이 읽는 법과 부족했던 개념을 스스로 채우는 법을 알아갈 수 있었다. 다만 아쉬웠던 점은..
-
BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension 논문 리뷰논문 리딩 2022. 10. 23. 19:24
https://arxiv.org/abs/1910.13461 BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension We present BART, a denoising autoencoder for pretraining sequence-to-sequence models. BART is trained by (1) corrupting text with an arbitrary noising function, and (2) learning a model to reconstruct the original text. It uses a standard Tranformer-b..
-
A Review of Text Style Transfer using Deep Learning, TAI, 2021 논문 요약논문 리딩 2022. 1. 26. 11:32
Section 1 : Introduction Text Style Transfer란? 의미 내용은 유지하면서 원래 문장을 새로운 스타일로 다시 작성하여 문장의 스타일을 조정하는 작업 Style Transfer 작업 성능 평가의 2가지 목표 생성된 문장의 의미적 내용이 얼마나 잘 보존되었는가 평가 생성된 문장의 새로운 스타일로의 품질 평가 Text Style Transfer의 2개의 key stages represantation learning sentence generation 아웃풋 센텐스 3가지 생성 기법 간단하게 입력문을 재구성하여 생성하는 모델 인코더-디코더 아키텍처에 추가 스타일 분류기를 통합하는 모델 adversial learning을 채택한 모델 Section 2 : 다양한 텍스트 스타일 소..
-
부스트캠프 ai tech 2기 P-stage + 최종 프로젝트 정리Boostcamp AI Tech 2기 2021. 12. 31. 18:58
P1 : 마스크 착용 상태 이미지 분류 대회 주제 : 카메라로 촬영한 사람 얼굴 이미지의 마스크 착용 여부 / 나이 / 성별을 동시에 판단하여 분류 최종 순위 (Private LB) : 31등 / 38팀 깃헙 링크 (개인/팀 보고서 포함) : https://github.com/danny980521/image-classification-level1-26 GitHub - danny980521/image-classification-level1-26: image-classification-level1-26 created by GitHub Classroom image-classification-level1-26 created by GitHub Classroom - GitHub - danny980521/image-..
-
(Kaggle) chaii - Hindi and Tamil Question Answering 대회 43등 후기Kaggle 2021. 11. 24. 11:29
대회 진행 및 솔루션 11월 초, 3번째 부스트캠프 ai tech 내부 대회인 odqa가 끝났다. 이 대회를 마치고 남는 GPU 자원을 어떻게 활용하면 좋을지 팀원들과 상의하다가 비슷한 QA 대회인 kaggle의 chaii - Hindi and Tamil Question Answering 대회에 참여해보기로 하였다. 부스트캠프의 odqa 대회는 한국어를 이용했고, retrieval을 거쳤던 반면에 캐글의 chaii 대회는 인도의 힌디어와 타밀어를 이용하고, retrieval 없이 바로 reader만을 활용한다는 것이 두 대회의 큰 차이점이었다. 한국어 대회에 참여할 때는 각종 전처리와 후처리를 시도했었고, 이를 통해 성능 향상을 경험했었는데 이번엔 글자 자체를 이해하지 못하니 이는 과감히 포기해야 했었다..
-
부스트캠프 ai tech 2기 15주차 학습 정리 노트Boostcamp AI Tech 2기 2021. 11. 13. 21:24
강의 복습 1강 데이터 제작의 A to Z 데이터 구축 과정 : 1. 원시 데이터 선정 및 확보 : 저작권, 태스크 적합성 2. 구축 및 가공 프로세스 확립 : 구축 및 검수 절차, 작업자 선정 3. 구축 및 가공 지침 작성 : 플랫폼 소통 및 작업자 교육 4. 데이터 구축 및 가공 : 파일럿, 작업자 관리 5. 데이터 검수 : 품질 평가 기준, 데이터 규격과 내용 데이터 설계 : - 규모 선정에 필요한 정보 : 확보 가능한 원시 데이터의 규모, 주석 작업 시간 - 구분(split) 방식 : 데이터별 비율과 기준 정하기 (랜덤 vs 특정 조건) 데이터 수집-가공 설계 : 1. 원시 데이터 수집 방식 : 전산화, 스크래핑, 작업자 작성, 모델 생성 2. 작업자 선정 : 주석 작업의 난이도와 구축 규모에 맞..
-
부스트캠프 ai tech 2기 12주차 학습 정리 노트Boostcamp AI Tech 2기 2021. 10. 22. 23:49
강의 복습 8강 Reducing Training Bias Bias in learning : - 학습할 때 과적합을 막거나 사전 지식을 주입하기 위해 특정 형태의 함수를 선호하는 것 (inductive bias) A Biased World : - 현실 세계가 편향되어 있기 때문에 모델에 원치 않는 속성이 학습되는 것 (historical bias) - 성별과 직업 간 관계 등 표면적인 상관관계 때문에 원치 않는 속성이 학습되는 것 (co-occurence bias) Bias in Data Generation : - 입력과 출력을 정의한 방식 때문에 생기는 편향 (specification bias) - 데이터를 샘플링한 방식 때문에 생기는 편향 (sampling bias) - 어노테이터의 특성 때문에 생기는..
-
부스트캠프 ai tech 2기 7주차 학습 정리 노트Boostcamp AI Tech 2기 2021. 9. 15. 14:48
강의 복습 7강 Transformer (1) Transformer : 기존의 seq2seq with attention 모델에서 add-on 모듈로 사용되었던 attention 개념만을 사용해서 RNN 부분을 통째로 대체할 수 있게 만든 모델. Query, Key, Value : seq2seq with attention에서 context 벡터를 만들었던 과정을 떠올려보자. decorder의 특정 time step에서의 hidden state 벡터와 encoder의 hidden state 벡터를 내적한 값들에 sofrmax를 취해 가중치 배열을 만들었고, 이 가중치들을 이용해 encoder의 hidden state 벡터들의 가중평균을 구해 context 벡터로 사용했다. 이와 비슷한 과정을 transform..