리뷰
-
BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension 논문 리뷰논문 리딩 2022. 10. 23. 19:24
https://arxiv.org/abs/1910.13461 BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension We present BART, a denoising autoencoder for pretraining sequence-to-sequence models. BART is trained by (1) corrupting text with an arbitrary noising function, and (2) learning a model to reconstruct the original text. It uses a standard Tranformer-b..
-
Restricting the Flow: Information Bottlenecks for Attribution 논문 리뷰논문 리딩 2022. 6. 3. 16:01
1. Introduction XAI 분야에서 Attrubution method는 각각의 인풋에 대해 relevance score를 주는 것을 목표로 하는데, 이미지가 인풋인 경우에는 heatmap의 형식으로 score를 시각화할 수 있다. 이 heatmap에서 두드러지는 부분이 모델의 decision의 크게 관여한 부분인 것이다. 이 원숭이 사진을 예로 보면, 모델이 이 사진을 '원숭이'라고 예측할 때 붉게 표시된 원숭이의 얼굴 부분을 근거로 삼았음을 알 수 있다. 반면에 원숭이가 매달려 있는 줄이나 나무에는 픽셀 당 비트 수가 0에 가깝다. 2. Related Work Attribution을 만드는 기존의 방식에는 Occlusion, Grad-cam 등이 있다. 이 논문은 기존 방식의 문제점을 지적하진..