부스트캠프 ai tech 2기 8주차 학습 정리 노트

강의 복습

이번 주는 월, 화, 수요일이 추석 연휴였고, 목요일과 금요일은 각각 4개씩의 특강으로 준비된 한 주였다. 아래는 특강 내용들을 간단히 정리한 것이다.

이활석 님 - 서비스 향 AI 모델 개발하기

서비스향 AI 개발 단계 : 학습 데이터셋 준비 -> 테스트 데이터셋 / 테스트 방법 준비 -> 모델 요구사항 도출

서비스향 AI 모델 개발 기술 팀의 조직 구성 : 

 - AI 모델팀 : AI 모델을 개발하는 인력, 데이터를 준비하고 품질을 관리하는 인력, 효율성을 위한 툴을 개발하는 인력, 전체를 총괄하여 모델의 품질을 관리하는 인력 등이 필요

 - AI 모델 서빙팀 : Serving HW향으로 모델을 최적화하는 인력, end device에 맞춰 최종 서빙하는 인력 등이 필요

김상훈 님 - 캐글 그랜드마스터의 노하우 대방출

파이프 라인의 (빠른/효율적) 반복 : GPU 장비는 필수적이다. 평일엔 4시간, 주말엔 8시간 정도로 시간을 투자하셨다고 한다. 본인만의 기본 코드를 가지고 있는 것도 좋다.

점수 개선 아이디어 : 코드, 디스커션 추이 파악 또한 필수이다. 

탄탄한 검증 전략 : K-fold validation set을 잘 구축해야 한다. 그럼에도 오버피팅의 위험은 있으니 local CV와 public LB가 함께 오르는 방법을 택하자.

앙상블 :  Lightgbm과 NN, LSTM과 BERT등의 서로 다른 아키텍처 기반의 모델들을 섞을 경우 점수의 향상 폭이 더 크다.

좋은 싱글 모델 : 대회 종료 1~2주 전까지 싱글 모델 점수로만 50등 내에 들면 좋다고 한다.

팀원 : 되도록 현재 대회 리더보드의 높은 순위에 있는 분과 팀을 맺자.

코드 관리 : v1, v2, v3... 순서로 개별 코드를 만들어 코드를 관리하자.

구종만 님- AI + ML과 Quant Trading

Quant Trading(Quantative Trading) : 계량적 트레이딩 기법으로, 수학이나 통계와 같은 도구를 이용한 기법이다.

 - arbitrage : 하나의 상품이 여러 곳에서 판매될 때 싼 곳에서 사서 비싼 곳에서 판다. 개념적으로 간단하기 때문에 속도 경쟁이 치열하고, 속도 싸움이라고 할 수 있다. (90% 속도, 10% 알파)

 - market making(시장 구성자) : 은행의 환전과 같이 구입 주문과 판매 주문을 동시에 내 이익을 만든다. 모든 사람이 일제히 한 방향으로 거래하기 시작하면 그쪽으로 가격이 움직이면서 손해이므로 눈치를 잘 보면서 가격이 한쪽으로 움직일 것 같으면 주문을 취소해야 한다. (50% 속도, 50% 알파)

 - stastical arbitrage : 미래 가격의 변화를 예측해서 거래한다.(최근 호가 움직임 예측, 종목간 상관관계 예측, 종목간 가격차이 예측) 데이터 기반 접근이 필수적이다. (10% 속도, 90% 알파)

문지형 님 - 내가 만든 AI 모델은 합법일까, 불법일까

저작권 : 사람의 생각이나 감정을 표현한 결과물(저작물)에 대하여 창작자에게 주는 권리로 “창작성”이 있다면 별도의 등록절차 없이 자연히 발생한다.

저작물 : 사람의 생각이나 감정을 표현한 결과물

합법적 데이터 이용방법 :

 - 저작자와 협의 : 지적재산권 독점적/비독점적 이용허락과 지적재산권 전부/일부에 대한 양도로 나뉜다.

 - 라이센스 : 저작자에게 이용 허가 요청을 하지 않아도 저작자가 제안한 특정 조건을 만족하면 이용이 가능하도록 만든 저작물에 대한 이용허락 규약. CCL(Creative Commons License)이 가장 대표적이다.

이준엽 님 - Full Stack ML Engineer

ML Engineer : Machine learning (Deep learning) 기술을 이해하고, 연구하고, Product를 만드는 Engineer. 전통적인 기술의 경우 Research 영역과 Engineering 영역이 구분되지만, Deep learning의 경우 폭발적 발전 속도로 인해 그 경계가 모호하다.(연구와 동시에 Product에 적용)

Full stack engineer : 내가 만들고 싶은 Product를 시간만 있다면 모두 혼자 만들 수 있는 개발자.

Full stack ML Engineer : Deep learning research를 이해하고 ML Product로 만들 수 있는 Engineer. 주로 해야 할 일은 아래와 같다.

 - 실 생활 문제를 ML 문제로 Formulation

 - Raw Data 수집

 - Annotation tool 개발

 - Data version 관리 및 loader 개발

 - Model 개발 및 논문 작성

 - Evaluation tool 혹은 Demo 개발

 - 모델 실 서버 배포

오혜연 님 - AI Ethics

박은정 님 - AI 시대의 커리어 빌딩

1. 연구자 vs 엔지니어 결정

연구자 :

 - 나는 fundamental한 학문(ex: 수학, 물리학)을 좋아하고 잘하는가?

 - 결과가 나오지 않아도 꾸준히 팔 수 있는 인내심이 있는가?

 - 나는 AI/ML 모델링 뿐 아니라 그 과정에서 발생하는 모든 일(웹 프로그래밍, 데이터 전처리)을 기꺼이 할 수 있는가?

엔지니어 : 

 - 나는 비즈니스에 관심이 있는가?

 - 내가 만든 모델을 사람들이 쓰면서 실생활에 변화가 있길 바라는가?

 - 나는 AI/ML 모델링 뿐 아니라 그 과정에서 발생하는 모든 일(웹프로그래밍, 데이터 전처리)을 기꺼이 할 수 있는가?

2. 가능한 빠르게 쉽고 접근성 있는 일부터 시작해 확장해나가기

 - AI 관련 인턴십/아르바이트 (적극 추천) 

 - AI competition (캐글, 데이콘..)

 - 최신 논문 재현

3. 공통 역량 및 자세 강화

 - 컴퓨터 공학에 대한 기본적인 이해와 소프트웨어 엔지니어링 능력

 - 최신 기술을 빠르게 습득하기 위한 영어 독해 능력

 - 어려운 문제를 많이 풀어야 하기 때문에 끈기 있는 자세를 가지는 것이 가장 중요

 - 스스로의 능력에 만족하지 않고 끊임없이 공부를 해야 함

 - 엄청나게 빠른 속도로 발전하는 기술을 즐길 수 있는 열정이 있어야 함

박성준 님 - 자연어 처리를 위한 언어 모델의 학습과 평가

GLUE : 언어 모델을 위한 영어 벤치마크로 자연어 생성 모델의 평가에 활용된다. RoBERTa, ELECTRA, ALBERT 등의 성능이 BERT보다 뛰어난 자연어 이해 모델 등장의 계기가 되었다. 한국어 자연어 이해 벤치마크로는 국내 연구진이 KLUE를 개발하였다.

Tasks of GLUE

피어 세션

앞으로 남은 부스트캠프 기간을 함께할 마지막 팀원들과의 첫 주였다. 사실 이전에도 몇 번 미팅을 해서 서로에 대해 어느 정도 아는 상태였기에 이번 피어 세션 시간에는 주로 코 앞으로 다가온 2번째 대회를 위한 건설적인 이야기를 할 수 있었다. 가령 이번 주말에는 wandb를 사용해 서로의 실험 결과를 공유할 수 있도록 공부해오기로 했다. 앞으로의 대회에서 팀에 조금이라도 더 도움이 되도록 최선을 다할 것이다.

학습 회고

이번 주에는 추석이 있어서 제대로 된 공부를 많이 하지 못한 것이 무척이나 아쉽다. 이제 다음 주부터는 2번째 p-stage에 돌입하게 되는데, 이를 위한 마지막 준비를 이번 주말 동안 철저히 해야 할 것이다. 게을러지지 말고, 현재의 발전과정을 즐겨나가자.