O importante a saber sobre MAPE e SMAPE

Benjamin Grando Moreira

2 dias atrás

Diferente das métricas MSE e RMSE (veja sobre em O importante a saber sobre MSE e RMSE), MAPE e SMAPE mudam a natureza da análise, sando do erro absoluto para o erro relativo percentual.

Métricas como MSE, RMSE e MAE dependem da unidade (metros, kWh, reais), já MAPE e SMAPE são adimensionais e expressas em porcentagem.

Um erro de 80 cm pode ser enorme se estiver relacionado com a altura de pessoas. Se a altura fora 160 cm, o erro é de 50%. Mas o erro de 80 cm é irrelevante no tamanho de uma rodovia de 1 km (seria um erro abaixo de 0,1%).

Definição do MAPE e SMAPE

O Mean Absolute Percentage Error (MAPE) mede o erro absoluto em termos percentuais. Ele é calculado a partir da equação a seguir.

MAPE=100n∑i=1n|yi−y^iyi|MAPE = \frac{100}{n}\sum_{i=1}^{n} \left| \frac{y_i – \hat{y}_i}{y_i} \right|

Onde:

yiy_i = valor real
y^i\hat{y}_i = valor previsto pelo modelo
nn = número de amostras

Um MAPE = 8 significa que o modelo erra, em média, 8% do valor real.

O Symmetric Mean Absolute Percentage Error (SMAPE) usa a média entre valor real e previsto no denominador.

SMAPE=100n∑i=1n|yi−y^i||yi|+|y^i|2SMAPE = \frac{100}{n}\sum_{i=1}^{n} \frac{|y_i – \hat{y}_i|} {\frac{|y_i| + |\hat{y}_i|}{2}}

A diferença entre MAPE e SMAPE está exclusivamente no denominador da fração percentual, mas essa alteração muda o comportamento da métrica de forma significativa, sendo que o MAPE tem problema com valores próximos de zero (ou o zero propriamente):

O MAPE não pode ser utilizado quando existem valores reais iguais a zero porque sua definição envolve divisão pelo valor real.
Para valores próximo a zero, considere o valor real de 0.1 e o previsto de 1. O erro seria de 1 – 0.1 = 0.9, o seja, um erro de 900%. Isso distorceria muito o resultado.

Em síntese:

MAPE mede o “Erro relativo ao valor real”, sendo orientado ao dado observado.
SMAPE mede o “Erro relativo ao tamanho médio entre real e previsto”, sendo uma métrica mais equilibrada entre previsão e realidade.

Exemplos

Considere um modelo que realiza as previsões conforme mostrado no gráfico abaixo.

Os valores previstos são próximos aos reais, obtendo também um valor das métricas similar: MAPE = 5,52% e SMAPE = 5,43%. Ou seja, o erro percentual é estável e indica que o modelo erra cerca de 5,5% os valores em média.

Inserimos agora na amostra um valor próximo de zero. O modelo continua prevendo os valores próximo aos reais, mas o desempenho nas métricas cai, embora caia muito mais em relação ao MAPE do que ao SMAPE.

Com valor de MAPE = 184,75% e de SMAPE = 37,37%, o valor próximo do zero piorou significativamente o resultado (afinal, são poucos os dados). O impacto ainda é alto, mas bem menos distorcido com o SMAPE.

Preciso mostrar MAPE e SMAPE na avaliação do meu modelo?

MAPE e SMAPE medem essencialmente a mesma coisa porém com comportamentos distintos em cenários específicos. Mostrar ambos não adiciona informação independente no sentido estatístico, mas pode adicionar robustez analítica. Ou seja matematicamente necessário mostrar os dois, mas pode ser metodologicamente justificável dependendo do contexto do problema.

Mostrar apenas MAPE pode ser questionado se houver valores pequenos. Mostrar apenas SMAPE pode dificultar comparação com trabalhos clássicos/antigos (MAPE foi proposto na década de 1960, enquanto do SMAPE foi proposto na década de 1980). Se mostrar os dois e os valores forem próximos, isso indica estabilidade do modelo. Em contexto científico ou de avaliação formal de modelos, apresentar ambos é uma prática prudente (mas se baseie no valor do SMAPE se tiver valores próximo de zero).