Google AI Researchersは、NLPモデルを視覚化、チェック、理解するためのオープンソースツールLIT(Language Interpretability Tool)をリリースしました(現在日本語は未対応)。
NLPソフトウェアは速い速度で高精度化していますが、NLPモデルはまだまだ不完全で、想定とは全く違う動作をすることがあり、その動作の予測をすることは難しい現状です。
LITは、それらの分析を視覚化し、期待どおりに機能しないモデルがないかをテストし、それらを比較し、AIロジックを見つける方法を提供します。
LITは、ソフトウェアがどのように言語をモデル化し、入力を分類し、会話がどのように進行するかを予測し、特定するのが難しいバイアスと傾向を見つけることができます。
また、分類、seq2seq、構造化予測など、さまざまなモデルをサポートしています。宣言型でフレームワークに依存しないAPIを介して、拡張が容易です。
Github: https://github.com/pair-code/lit
Paper: https://arxiv.org/pdf/2008.05122.pdf