nlp
-
부스트캠프 ai tech 2기 6주차 학습 정리 노트Boostcamp AI Tech 2기 2021. 9. 10. 19:37
강의 복습 1강 Intro to Natural Language Processing(NLP), Bag-of-Words Natural language processing (major conferences: ACL, EMNLP, NAACL) : • Low-level parsing : - Tokenization : I study math. 와 같은 문장에서 I, study, math와 같은 각 단어들을 token이라고 부르며 주어진 문장을 token 단위로 쪼개는 과정을 Tokenization이라고 한다. - Stemming : 단어의 어미는 다양하게 변할 수 있다. 가령 study는 studying, studed 등으로 변할 수 있는데, 이렇게 어미가 변하더라도 이 단어들은 비슷한 뜻을 가지고 있음을 컴퓨터로..