Capítulo 3 Características dos métodos de interpretabilidade

Uma possível abordagem para interpretabilidade de modelos de aprendizado de máquina que não são entendidos diretamente por suas fórmulas, os chamados modelos caixa preta, é usar métodos modelo-agnósticos (Ribeiro, Singh, and Guestrin 2016) para interpretabilidade. Essa abordagem consiste em extrair explicações do modelo ajustado, considerando os resultados da predição/classificação para fazer análises. As análises se dão pela modificação de variáveis de entradas e observação de como o modelo se altera em cada uma das modificações realizadas.

Antes de abordar os métodos estudados nesse trabalho, traremos a seguir três atributos que caracterizam esses métodos: Flexibilidade do Modelo, Flexibilidade de Explicação e Flexibilidade de Representação.

1. Flexibilidade do Modelo

   Separar a etapa de interpretabilidade da etapa de ajuste do modelo permite que o modelo seja o mais flexível possível, pois possibilita o uso de qualquer abordagem de modelagem. Se a abordagem do problema for Florestas Aleatórias ou se for SVMs, por exemplo, o método de interpretação utilizado será o mesmo. Esse ponto leva à discussão o interpretabilidade complexidade do modelo, uma vez que abordamos modelos mais ou menos complexos com os mesmo métodos de interpretabilidade.

2. Flexibilidade de Explicação

   Diferentes tipos de problemas e necessidades levam à diferentes tipos de explicações. Em alguns casos, os usuários podem se preocupar em entender como os resultados positivos impactam em uma determinada previsão. Por exemplo, qual parte de um imagem é mais responsável pela previsão (exemplo do cavalo e do automóvel), enquanto em outros casos em que o impacto negativo pode ser o interesse, por exemplo, na depuração de um classificador de contratação (exemplo do Classificador Sexista de contratação). Temos também os casos em que a necessidade de informação pode ser também contrafactual, por exemplo, como o modelo se comportaria se certas características tivessem valores diferentes.

   Usuários diferentes também podem lidar com diferentes tipos de explicações. Um leigo pode ser capaz de entender uma Árvore de Decisão com um número um pouco maior de regras, enquanto um modelo linear é mais intuitivo para um usuário acostumado com modelos estatísticos. No entanto, a maioria dos modelos interpretáveis são restritos nas possíveis explicações, seja por um conjunto de regras ou por gráficos. Assim, mantendo o modelo separado das explicações, é possível adaptar a explicação às necessidades de informações, mantendo o modelo fixo, ou seja, independente do modelo abordado, ele pode ser explicado de diferentes maneira e diferentes graus de interpretabilidade.

3. Flexibilidade de Representação

   A característica de Flexibilidade na Representação está relacionada a gerar explicações usando recursos diferentes, de acordo com o modelo que está sendo explicado. Por exemplo, para um classificador de texto que usa vetores de incorporação de palavras abstratas, pode ser preferível usar a presença de palavras individuais para a explicação (Ribeiro, Singh, and Guestrin 2016).

Com as características essenciais aos métodos de interpretabilidade abordadas, estudamos alguns métodos utilizados, suas definições e como eles ajudam a entender a relação do predito com as variáveis explicativas. Nas próximas seções descrevemos alguns métodos de interpretabilidade que podem ser aplicados a qualquer modelo de predição, abordando uma perspectiva de interpretabilidade Global e, posteriormente, Local.

References

Ribeiro, M., S. Singh, and C. Guestrin. 2016. “Model-Agnostic Interpretability of Machine Learning.” arXiv Preprint arXiv:1606.05386.