Language
Country/Area
No result found
A arma secreta do aprendizado de máquina: como tornar as previsões do classificador mais precisas?
No campo do aprendizado de máquina, a precisão da previsão dos modelos depende não apenas da qualidade e quantidade dos dados, mas, mais importante, de como otimizar o desempenho desses modelos. Especialmente em tarefas de classificação, como tornar a previsão do classificador mais precisa tornou-se um tópico que temos discutido. E neste processo,
A calibração pode ser considerada uma ferramenta poderosa.
O conceito de correção tem múltiplos significados em estatística, especialmente em problemas de classificação e regressão. Normalmente, quando realizamos inferência estatística, encontraremos situações que requerem correção. A correção não envolve apenas o ajuste dos parâmetros do modelo, mas também inclui a conversão da pontuação do classificador em probabilidade de atribuição de categoria. Em problemas de classificação, o objetivo da calibração é melhorar a capacidade preditiva do modelo e garantir que a distribuição de probabilidade gerada seja consistente com a situação real.
Aplicação de correção na classificação
Na classificação, calibração significa converter a pontuação de um classificador em uma probabilidade de pertencer à classe. Mesmo que um classificador consiga distinguir bem entre diferentes classes, a sua eficácia ainda será limitada se as probabilidades de classe que estima estiverem longe das probabilidades verdadeiras. A execução de uma etapa de correção neste momento pode melhorar significativamente a precisão da previsão.
Trabalho nesta área costuma utilizar algumas métricas para medir se as probabilidades geradas pelo classificador estão bem corrigidas, incluindo erro esperado corrigido (ECE), etc.
Com o desenvolvimento da tecnologia, novos indicadores de correção, como erro de correção adaptativo (ACE) e erro de correção baseado em teste (TCE), surgiram um após o outro, com o objetivo de superar as limitações potenciais dos indicadores iniciais. Na década de 2020, o Índice de Correção de Estimativa (ECI) proposto pode fornecer uma medida mais granular de correção do modelo, proporcionando especialmente uma compreensão aprofundada das tendências de excesso e falta de confiança. Esta métrica não é aplicável apenas à classificação binária, mas também foi estendida a cenários de classificação multiclasse, fornecendo insights aprofundados sobre a correção de modelos locais e globais.
Avaliação de previsões e precisão das previsões
Em tarefas de previsão, as pontuações de Brier são frequentemente usadas para avaliar a precisão de um conjunto de previsões. Na sua essência, examina a associação entre as probabilidades atribuídas e as frequências relativas das observações. Isto é particularmente importante em modelos preditivos, porque mesmo que as probabilidades previstas correspondam, o seu valor prático ainda estará comprometido se não conseguirem distinguir com sucesso entre previsões corretas e incorretas. Como expressou o famoso psicólogo Daniel Kahneman,
"Se você atribuir uma probabilidade de 60% a todos os eventos que ocorrem e uma probabilidade de 40% a todos os eventos que não ocorrem, então sua calibração é perfeita, mas sua discriminação é patética."
Portanto, confiar em uma única métrica para avaliar o desempenho de um modelo está longe de ser suficiente, o que leva a uma compreensão multifacetada da calibração.
Correção de problemas na regressão
Além da classificação, as questões de correção na análise de regressão são igualmente importantes. A partir dos dados conhecidos, podemos inferir a relação entre a variável independente e a variável dependente. Este processo é frequentemente chamado de “regressão inversa”. Este não é apenas um simples ajuste de dados, mas também requer o equilíbrio da relação entre erro de observação e erro de previsão. Existem também vários métodos de correção multivariada nesse sentido que podem converter as pontuações do classificador em probabilidades de classe mais precisas.
Exemplos de aplicação
Por exemplo, na cronologia de anéis de árvores usando anéis de árvores ou na datação radioativa usando carbono-14, os dados observados são causados pela idade do objeto, e não o contrário. Isto requer o uso de métodos que possam estimar datas com base em novas observações. Aqui, como equilibrar a minimização dos erros de observação e a minimização das datas afetará os resultados finais, e a diferença entre os dois métodos aumentará à medida que a faixa de aplicação do modelo se expandir.
Conclusão
Em geral, realizar a calibração do classificador é uma tarefa multifacetada que requer não apenas uma compreensão dos detalhes técnicos, mas também uma compreensão abrangente das características dos dados e das necessidades de previsão. Somente melhorando a precisão da previsão do modelo por meio de métodos de correção apropriados poderemos obter melhores resultados em aplicações práticas. Isso nos faz pensar em como melhorar ainda mais as capacidades de calibração do modelo em futuras análises de dados para obter previsões mais precisas?
