Capítulo 5 Interpretabilidade Local

Técnicas de interpretabilidade local facilitam o entendimento de uma perspectiva micro do aprendizado de máquina entre o predito e as variáveis explicativas, como a relação entre a predição de uma observação e suas características correspondentes.

Além de trabalharmos com perturbações nas variáveis explicativas, como nos métodos anteriores, uma abordagem interessante é a estimação de modelos mais simples, a partir das variáveis utilizadas no modelo e de sua predição, para explicar algumas predições específicas, que é o caso do LIME .

O nome do método pode ser entendido por partes:

Basicamente, ao querer entender porque o modelo Caixa Preta'' fez uma certa predição, o LIME testa o que acontece com as predições quando você fornece variações de seus dados no modelo. Com essas amostras de valores perturbados e suas predições é gerado um novo conjunto de dados no qual é treinado um novo modelo, mas dessa vez um modelo interpretável, que será ponderado pela proximidade das unidades amostradas com a predição de interesse estabelecida desde o começo. É importante ressaltar que esse novo modelo ajustado deve ser uma boa aproximação local das predições do modeloCaixa Preta’’, mas não precisa ser uma boa aproximação global e se ajustar a todo o conjunto de dados.

Podemos definir a explicação local para uma predição \(x\), com o modelo \(g\) que minimiza a perda \(L\) medindo o quão perto ele está do modelo original \(f\) e mantendo o nível de complexidade \(\Omega(g)\) baixo.

\[\begin{equation} \text{explicação}(x) = \arg\min_{g \in G} L(f,g,\pi_x) + \Omega(g). \end{equation}\]

O exemplo sobre o classificador de e Lobos citado em ilustra bem o resultado do LIME usando imagens. Na Figura temos um exemplo de um cachorro que foi classificado pelo algoritmo como Lobo. Entretanto, quando utilizado o LIME para entender o porquê da predição é separado como importantes para aquela predição as áreas da imagem que contém neve, conforme destacado. Ou seja, o algoritmo não focava em alguma característica dos animais para diferenciá-los, mas sim no plano de fundo das imagens.

As vantagens do algoritmo é que ele é fácil interpretar seus resultados, e pode ser aplicado em dados tabulados, imagens ou textos. A medida de fidelidade resultante do LIME nos permite mensurar de fato quão próximo do modelo original está o modelo ajustado localmente.

Por outro lado, a definição de vizinhança é uma desvantagem desse método, uma vez que esse é um conceito abstrato e difícil de ser definido. Como as explicações dependem desse conceito, uma pequena variação nele pode resultar em conclusões diferentes.

O algoritmo baseado nos valores de é um método da Teoria de Jogos, apresentado em , que propõe uma solução de distribuição justa de ganhos e custos para vários jogadores que trabalham cooperativamente. Ela se aplica, principalmente, em situações em que as contribuições de cada jogador são desiguais, mas trabalham com o mesmo objetivo.

A conexão entre essa solução de Teoria de Jogos e a interpretabilidade de modelos de aprendizado de máquina acontece considerando o jogo como uma tarefa de previsão para uma única observação do conjunto de dados. O ganho é a diferença entre a predição real para a observação e a previsão média para todas as demais observações. Além disso, os jogadores são os valores das variáveis para a observação selecionada, que colaboram para receber o ganho, em outras palavras, para prever um determinado valor.

Definiremos como é feita a estimativa aproximada de para o valor de uma única característica, ou seja, primeiro selecionamos uma unidade observacional \(x\) do que temos interesse em interpretar a predição obtida, depois para cada variável \(j\) do modelo calculamos seu valor Shapley, definindo um número de iterações \(M\).

Para realizar o cálculo, precisamos definir então:

Definidos esses valores, conforme apresentado em , os passos para o cálculo do valor Shapley da \(j\)-ésima variável são:

Em cada iteração, uma observação aleatória z é selecionada a partir dos dados e uma ordem aleatória das variáveis é gerada, após isso duas novas instâncias são criadas combinando valores da observação \(x\) e da observação aleatória \(z\). No passo 5 calculamos a contribuição marginal da \(j\)-ésima variável pela diferença de \(f(x_{+j})\) por \(f(x_{-j})\), e após repetir esse cálculo para cada iteração computamos o valor médio da contribuição marginal.

Como citado anteriormente, essa sequência de passos deve ser repetida para uma das variáveis, a fim de calcularmos o valor Shapley de cada uma delas.

Considere um problema relacionado ao empréstimo de dinheiro. Suponha que dois clientes buscaram um empréstimo e temos as seguintes informações sobre eles:

Com as informações da Figura temos que o Cliente 1 possui cartão de crédito, imóvel próprio e não teve dívida recente e o Cliente 2 possui cartão de crédito, imóvel próprio, mas teve uma dívida recente. Como resultado do modelo utilizado para atribuição de um limite de empréstimo o Cliente 1 recebeu R$ 1.500,00 e o Cliente 2 recebeu R$ 800,00.

Nesse exemplo, o Cliente 2 teve as três variáveis consideradas conjuntamente para a estimativa do valor de empréstimo de R$ 800,00 e o interessante é entender o que contribuiu para que esse valor ficasse R$ 200,00 abaixo da média (considerando a média de empréstimo igual a R$ 1.000,00). Com as estimativas dos valores de poderíamos dizer, por exemplo, que possuir cartão de crédito contribuiu positivamente R$ 50,00, imóvel próprio contribuiu com R$ 100,00 e histórico de dívida recente contribuiu negativamente -R$ 350,00. Sumarizando as contribuições, temos um saldo de -R$ 200,00.

Como vantagens desse método podemos citar que a predição média é razoavelmente distribuída entre os valores das variáveis de uma observação, o que fornece uma explicação completa. Em o autor cita que essa medida é utilizada quando uma interpretação é exigida legalmente na União Europeia, por exemplo, devido a sua robustez.

A complexidade computacional do cálculo é uma das desvantagens, sendo viável na maioria dos problemas apenas uma solução aproximada, na nossa aplicação por exemplo, para calcular os valores Shapley (utilizando um computador de 8GB de memória RAM) para uma observação, demorou aproximadamente 150 minutos. Outro ponto que pode pesar de forma negativa nessa técnica é a compreensão do seu resultado, que muitas vezes é mal interpretado como se o valor da variável fosse a predição depois de remover a variável do modelo e retreina-lo.