논문 리딩
-
BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension 논문 리뷰논문 리딩 2022. 10. 23. 19:24
https://arxiv.org/abs/1910.13461 BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension We present BART, a denoising autoencoder for pretraining sequence-to-sequence models. BART is trained by (1) corrupting text with an arbitrary noising function, and (2) learning a model to reconstruct the original text. It uses a standard Tranformer-b..
-
Restricting the Flow: Information Bottlenecks for Attribution 논문 리뷰논문 리딩 2022. 6. 3. 16:01
1. Introduction XAI 분야에서 Attrubution method는 각각의 인풋에 대해 relevance score를 주는 것을 목표로 하는데, 이미지가 인풋인 경우에는 heatmap의 형식으로 score를 시각화할 수 있다. 이 heatmap에서 두드러지는 부분이 모델의 decision의 크게 관여한 부분인 것이다. 이 원숭이 사진을 예로 보면, 모델이 이 사진을 '원숭이'라고 예측할 때 붉게 표시된 원숭이의 얼굴 부분을 근거로 삼았음을 알 수 있다. 반면에 원숭이가 매달려 있는 줄이나 나무에는 픽셀 당 비트 수가 0에 가깝다. 2. Related Work Attribution을 만드는 기존의 방식에는 Occlusion, Grad-cam 등이 있다. 이 논문은 기존 방식의 문제점을 지적하진..
-
A Review of Text Style Transfer using Deep Learning, TAI, 2021 논문 요약논문 리딩 2022. 1. 26. 11:32
Section 1 : Introduction Text Style Transfer란? 의미 내용은 유지하면서 원래 문장을 새로운 스타일로 다시 작성하여 문장의 스타일을 조정하는 작업 Style Transfer 작업 성능 평가의 2가지 목표 생성된 문장의 의미적 내용이 얼마나 잘 보존되었는가 평가 생성된 문장의 새로운 스타일로의 품질 평가 Text Style Transfer의 2개의 key stages represantation learning sentence generation 아웃풋 센텐스 3가지 생성 기법 간단하게 입력문을 재구성하여 생성하는 모델 인코더-디코더 아키텍처에 추가 스타일 분류기를 통합하는 모델 adversial learning을 채택한 모델 Section 2 : 다양한 텍스트 스타일 소..