NLP가 하고 싶어요 NLP가 하고 싶어요

ai tech

• 부스트캠프 ai tech 2기 8주차 학습 정리 노트

  Boostcamp AI Tech 2기 2021. 9. 24. 23:51

  강의 복습 이번 주는 월, 화, 수요일이 추석 연휴였고, 목요일과 금요일은 각각 4개씩의 특강으로 준비된 한 주였다. 아래는 특강 내용들을 간단히 정리한 것이다. 이활석 님 - 서비스 향 AI 모델 개발하기 서비스향 AI 개발 단계 : 학습 데이터셋 준비 -> 테스트 데이터셋 / 테스트 방법 준비 -> 모델 요구사항 도출 서비스향 AI 모델 개발 기술 팀의 조직 구성 : - AI 모델팀 : AI 모델을 개발하는 인력, 데이터를 준비하고 품질을 관리하는 인력, 효율성을 위한 툴을 개발하는 인력, 전체를 총괄하여 모델의 품질을 관리하는 인력 등이 필요 - AI 모델 서빙팀 : Serving HW향으로 모델을 최적화하는 인력, end device에 맞춰 최종 서빙하는 인력 등이 필요 김상훈 님 - 캐글 그랜드..

  Read More
• 부스트캠프 ai tech 2기 7주차 학습 정리 노트

  Boostcamp AI Tech 2기 2021. 9. 15. 14:48

  강의 복습 7강 Transformer (1) Transformer : 기존의 seq2seq with attention 모델에서 add-on 모듈로 사용되었던 attention 개념만을 사용해서 RNN 부분을 통째로 대체할 수 있게 만든 모델. Query, Key, Value : seq2seq with attention에서 context 벡터를 만들었던 과정을 떠올려보자. decorder의 특정 time step에서의 hidden state 벡터와 encoder의 hidden state 벡터를 내적한 값들에 sofrmax를 취해 가중치 배열을 만들었고, 이 가중치들을 이용해 encoder의 hidden state 벡터들의 가중평균을 구해 context 벡터로 사용했다. 이와 비슷한 과정을 transform..

  Read More
• 부스트캠프 ai tech 2기 6주차 학습 정리 노트

  Boostcamp AI Tech 2기 2021. 9. 10. 19:37

  강의 복습 1강 Intro to Natural Language Processing(NLP), Bag-of-Words Natural language processing (major conferences: ACL, EMNLP, NAACL) : • Low-level parsing : - Tokenization : I study math. 와 같은 문장에서 I, study, math와 같은 각 단어들을 token이라고 부르며 주어진 문장을 token 단위로 쪼개는 과정을 Tokenization이라고 한다. - Stemming : 단어의 어미는 다양하게 변할 수 있다. 가령 study는 studying, studed 등으로 변할 수 있는데, 이렇게 어미가 변하더라도 이 단어들은 비슷한 뜻을 가지고 있음을 컴퓨터로..

  Read More
• 부스트캠프 ai tech 2기 4주차 학습 정리 노트

  Boostcamp AI Tech 2기 2021. 8. 27. 23:25

  강의 복습 3강 Dataset Bounding box : 필요한 부분만 잘라서 더욱 정제된 data를 feed한다. 직사각형의 경우 2개의 좌표만 사용하면 된다. 이번 대회의 경우 대부분 중앙에 인물이 배치되어있기 때문에 큰 필요는 없을 것으로 보인다. Resize : 계산의 효율을 위해 적당한 크기로 사이즈를 변경한다. 화질이 너무 좋은 경우 학습에 굉장히 많은 시간이 걸릴 수 있기 때문에 적절히 줄이는 것이 좋다. Data Augmentation : 주어진 데이터가 가질 수 있는 case, state의 다양성을 키운다. - torchvision.transforms : RandomCrop, Flip... Compose함수를 이용해 일괄 적용해보자! - Albmentations : transforms보다..

  Read More
• 부스트캠프 ai tech 2기 3주차 학습 정리 노트

  Boostcamp AI Tech 2기 2021. 8. 20. 23:04

  강의 복습 2강 PyTorch Basics Tensor : 다차원 Arrays 를 표현하는 PyTorch 클래스. 사실상 numpy의 ndarray와 동일하다. 그러므로 TensorFlow의 Tensor와도 동일하며, Tensor를 생성하는 함수도 거의 동일하다. Tensor handling : - view : reshape과 동일하게 tensor의 shape을 변환한다. view와 reshape은 contiguity 보장의 차이가 있다.(view가 보장) - squeeze : 차원의 개수가 1인 차원을 삭제 (압축) - unsqueeze : 차원의 개수가 1인 차원을 추가 Tensor operations : 기본적인 tensor의 operations는 numpy와 동일하다. 행렬곱셈 연산은 함수는 do..

  Read More
• 부스트캠프 ai tech 2기 1주차 학습 정리 노트

  Boostcamp AI Tech 2기 2021. 8. 4. 16:47

  강의 복습 Python 2-1 변수 : 데이터(값)을 저장하기 위한 메모리 공간의 프로그래밍상 이름 변수는 메모리 주소를 가지고 있고 변수에 들어가는 값은 메모리 주소에 할당된다. 피연산자(operand) : 연산자(operator)에 의해 계산이 되는 숫자들 *이차원 이상의 리스트를 복사할 땐 copy 모듈의 deepcopy를 이용하자! Python 2-2 함수 : 어떤 일을 수행하는 코드의 덩어리 캡슐화 : 인터페이스만 알면 타인의 코드를 사용할 수 있는 함수의 특성이다. parameter : 함수의 입력 값 인터페이스. def func(x)의 x에 해당하는 부분. argument : 실제 parameter에 대입된 값. print(f(2))의 2에 해당하는 부분. Python 2-3 조건문 : 조건..

  Read More