Têm sido compartilhadas aqui as predições feitas por nosso modelo para as próximas recentes rodadas do Campeonato Brasileiro de 2017, e esse compartilhamento continuará a acontecer até o final da competição. Entretanto, para que se consiga bons resultados, não basta apenas gerar predições a partir de um modelo, é necessário ter uma forma de comparar a qualidade de suas predições com as de outros. A forma mais usada para isso é a de ver se um modelo "acertou" o resultado do jogo, e, depois, contar quantos acertos o modelo teve numa determinada rodada (o modelo "acerta" quando o resultado que aconteceu foi o resultado - vitória do mandante, empate ou vitória do visitante - a que ele tinha dado a maior de suas três probabilidades). No entanto, há várias outras formas de medir a qualidade preditiva de um modelo, e uma delas é a de pegar as probabilidades dadas por cada modelo a um resultado que aconteceu, e considerar que o modelo que "acertou" é o que gerou a maior dessas probabilidades. Outra seria a de comparar a probabilidade dada por esse modelo para que tenha acontecido o que aconteceu, a partir do que sabemos.
Essas serão as três principais formas usadas para comparar a qualidade de nossas predições com a de outras. Para os que estiverem interessados na definição matemática desse terceiro método de comparação (no qual chama-se a probabilidade dada pelo modelo para que tenha acontecido o que aconteceu de verossimilhança preditiva), uma explicação pode ser encontrada
aqui.
Agora, para ilustrar o funcionamento desses três diferentes métodos, será usado um pequeno conjunto de jogos:
| Mandante | Visitante | Placar |
| A | B | 0x0 |
| C | D | 6x2 |
| E | F | 0x1 |
| G | H | 1x1 |
E serão comparadas as probabilidades que quatro modelos deram para esses resultados, antes de eles terem acontecido. O terceiro modelo será chamado de simples, e define as probabilidades de cada time vencer com base nas médias do campeonato, até o momento; ou seja, a probabilidade que o modelo dá para um time mandante vencer seu jogo é igual à proporção de vitórias de mandantes no campeonato, até aquele momento. As probabilidades de empate e de vitória são calculadas de forma análoga. Assim, as probabilidades dadas pelo modelo simples para vitórias de A, C, E e G são iguais entre si, e o mesmo pode ser dito para as probabilidades de empates nessas partidas e para as probabilidades de vitórias de B, D, F e H. Para calcular as probabilidades dadas por esse modelo para esse conjunto de dados, presumiu-se que o campeonato de que participam os oito times apresentou, até o momento, porcentagens de: 50% de vitórias dos mandantes, 25% de empates e 25% de vitórias dos visitantes.
O modelo simples é assim chamado porque pode-se ver, a partir da forma como ele calcula suas probabilidades, que o único fator que está influenciando seu processo de previsão de resultados é a definição de mandante e visitante, dentro de cada jogo. Já o quarto modelo será chamado de nulo, e será assim chamado porque seu processo de previsão não depende de qualquer fator. Ele define que as probabilidades de qualquer um dos três possíveis resultados acontecer é igual para todos: um terço, ou, aproximadamente 33%.
Aqui estão as probabilidades dadas pelos quatro modelos para os resultados que realmente aconteceram:
Modelo 1
| Mandante | Visitante | PVM | PE | PVV |
| A | B | 40% | 30% | 30% |
| C | D | 45% | 25% | 30% |
| E | F | 30% | 50% | 20% |
| G | H | 37% | 38% | 25% |
Modelo 2
| Mandante | Visitante | PVM | PE | PVV |
| A | B | 60% | 20% | 20% |
| C | D | 55% | 21% | 24% |
| E | F | 50% | 30% | 20% |
| G | H | 28% | 57% | 15% |
Modelo Simples
| Mandante | Visitante | PVM | PE | PVV |
| A | B | 50% | 25% | 25% |
| C | D | 50% | 25% | 25% |
| E | F | 50% | 25% | 25% |
| G | H | 50% | 25% | 25% |
Modelo Nulo
| Mandante | Visitante | PVM | PE | PVV |
| A | B | 33% | 33% | 33% |
| C | D | 33% | 33% | 33% |
| E | F | 33% | 33% | 33% |
| G | H | 33% | 33% | 33% |
Vamos, então, para a comparação de modelos. Quando se utiliza o primeiro método, não há como o modelo nulo "acertar" um resultado, visto que suas probabilidades são todas iguais. Assim, os resultados a seguir são só para os outros três modelos:
| Modelo | Acertos |
| 1 | 2 |
| 2 | 2 |
| Simples | 1 |
Para o segundo método, os resultados são:
| Modelo | Acertos |
| 1 | 0 |
| 2 | 2 |
| Simples | 0 |
| Nulo | 2 |
Para o terceiro método, os valores são padronizados de acordo com o valor do modelo nulo. Dessa forma, a probabilidade dada por um modelo para os resultados que ocorreram terem ocorrido é dividida pela probabilidade dada pelo modelo nulo. Dessa maneira, qualquer valor maior que um mostra que esse modelo deu uma probabilidade maior que a do nulo, enquanto um valor menor que um aponta para o oposto. Aqui estão os resultados:
| Modelo | Valor |
| 1 | 0,83 |
| 2 | 1,02 |
| Simples | 0,63 |
| Nulo | 1 |
Agora, para comparar os modelos de acordo com os valores nas tabelas, é simples. Quanto maior o valor de um modelo na segunda coluna de sua linha numa tabela, melhor foi seu desempenho em cada método. E essas tabelas mostram os problemas com os dois primeiros métodos de comparação. Olhando para a primeira tabela apenas, os modelos 1 e 2 parecem de ser de mesma qualidade, o simples parece ser o pior dos três e nada se sabe sobre o nulo. Olhando apenas para a segunda tabela, vê-se que os modelos 2 e nulo são de mesma qualidade, e o mesmo pode ser dito para os modelos 1 e simples. Usaro o terceiro método possibilita que finalmente se veja as diferenças mais sutis entre os modelos, com o modelo 2 sendo o melhor, o nulo sendo o segundo melhor, o 1 sendo o terceiro melhor e o simples sendo o pior.
Duas considerações adicionais podem ser feitas a partir dos resultados do terceiro método. A primeira se baseia unicamente no valor da segunda coluna para cada modelo. Caso esse valor seja menor que um, pode-se dizer que esse modelo apresentou sérios problemas na previsão de resultados para os quatro jogos que foram utilizados, pois o modelo nulo - um modelo que, basicamente, considera fútil o exercício de prever resultados - se saiu melhor que ele. A segunda se relaciona com a qualidade relativa de um modelo, quando comparado com o nulo. Nela, o valor dado para o modelo é padronizado para um valor para um jogo. Ou seja, o valor para cada modelo é passado por uma raiz quarta. Raiz quarta porque foram utilizados quatro jogos; se tivessem sido usados dois, seria uma raiz quadrada; se fossem cem, raiz centésima.
Depois de passada a raiz quarta, os resultados são:
| Modelo | Valor |
| 1 | 0,955 |
| 2 | 1,003 |
| Simples | 0,892 |
| Nulo | 1 |
A forma de se interpretar esses resultados é a seguinte: a previsão do modelo 1 para um jogo teve 95,5% da qualidade de uma previsão do nulo, a do 2 teve 100,3% e a do simples teve 89,2%. Ou seja, quando se padroniza os valores para um jogo, uma previsão do modelo 1 foi 4,5% pior que uma do nulo, enquanto uma do 2 foi 0,3% melhor e uma do 2 foi 10,8% pior.
Nenhum comentário:
Postar um comentário