shinochin’s diary

東大院M2の独り言

#1 Adversarial Multi-task Learning for Text Classification

一言で言うと

  • タスク依存の特徴量とタスク普遍の特徴量を完全に分けてMultiTaskLearningをした

  • タスク普遍の特徴量をより普遍にするためにGANを利用

  • タスク依存の特徴量をより依存にするためにorthogonality constraintsを利用

 

詳しく

Multi Task Learning(MLT)とは

複数のタスクを並行に学習させることでタスク間のcorrelationを利用し、単独タスクで学習した時よりも精度を上げるための枠組みである。

提案手法

本論文では文分類のためのLSTMをtask-independentなものとtask-invariantなもの両方を各タスクについて用意し、task-invariantなLSTMはタスク間で共有する。

f:id:shinochin:20180418004524p:plain 

そしてtask-invariantなLSTMのfeatureをよりtask-invariantにしてtask-specificなfeatureに汚染されないようにするためにGANを用いた。

f:id:shinochin:20180418004452p:plain 

Discriminator:入力文がどのタスクからきたかをshared LSTMから得られたfeatureをパーセプトロンに通して予測

通常のGANのDiscriminatorは2値分類をするが、多クラス分類をさせるためにLossを拡張をしている。

さらにtask-invariantからtask-independentへの汚染を防ぐためにorthogonality constraintsを利用 具体的にはFrobenius normを採用

f:id:shinochin:20180418021433p:plain

結果

16のデータセットでMTLをしたところ、提案手法が平均ErrorRateでもっとも低い値を実現