BERT의 출력 (sequence_output, pooled_output)

 

outputs = self.bert(...)

 

sequence_output

• outputs[0]
• shape: (batch_size, max_seq_length, hidden_size)
• 입력 문장의 각 토큰에 대해 임베딩된 값

 

pooled_output

• outputs[1]
• shape: (batch_size, hidden_size)
• 입력 문장 전체에 대한 [CLS] 토큰의 임베딩 값

 

 

Classification 태스크에서는 pooled_output 값을 사용한다.

 

 

참고: https://www.kaggle.com/questions-and-answers/86510