A multiple detection state occupancy model using autonomous recordings facilitates correction of false positive and false negative observation errors

Abstract

Bird surveys have relied upon acoustic cues for species identification for decades; however, errors in detection and identification can lead to misclassification of the site occupancy state. Although significant improvements have been made to correct for false negative (FN) error, less work has been done on identifying and modeling false positive (FP) error. In our online survey we found misidentification can occur even among highly skilled observers, thus methods are required to correct for FP error. In this study we model both FP and FN error in bird surveys using a multiple detection state model (MDSM), and found that modeling both types of error lowered occupancy (ψ) relative to the FN only models in 84% of the observation data sets, and this suggests significant bias in ψ can occur in studies that do not correct for both FN and FP error. In our autonomous recording units (ARU) data we had two detection states, “confirmed” and “unconfirmed,” where confirmation was based on agreement of two interpreters, and through simulation evaluated performance of the MDSM using this type of ARU data. We found that MDSM can effectively correct for both FN and FP error across a broad of range of survey observation rates and detection rates (d) and is appropriate for data using “confirmed detections.” We developed a binary classification model to assign risk of bias to field observation sets based on survey and model parameters, and found that lower risk of bias cannot be predicted by a single variable or value, but rather occurs under certain combinations of low naïve occupancy rate (< ~0.2), detection rate (< ~0.2), number of confirmed recordings (< ~20) and high FP rate (> ~0.07). Our approach to interpreting ARU data along with our analysis guidelines should help reduce potential inflation of ψ resulting from FP error. L emploi d un modèle d occupation à états multi-détections utilisant des enregistrements autonomes facilite la correction d erreurs d observations liées aux faux positifs et aux faux négatifs RÉSUMÉ. La détection de vocalisations pour identifier les espèces est intrinsèque aux relevés d oiseaux depuis des décennies; toutefois, les erreurs de détection et d identification peuvent mener à des erreurs quant à l occupation d un site. Bien que d importantes améliorations ont été proposées pour corriger les erreurs liées aux faux négatifs (FN), moins de travaux ont porté sur la détermination et la modulation des erreurs liées aux faux positifs (FP). Dans notre enquête en ligne, nous avons constaté que les mauvaises identifications peuvent même être le fait d observateurs chevronnés, de sorte qu il est nécessaire d élaborer des méthodes pour corriger les erreurs liées aux FP. Dans la présente étude, nous avons modélisé les erreurs liées aux FP et aux FN de relevés d oiseaux au moyen d un modèle à états multi-détections (MEMD). Nous avons trouvé que la modélisation des deux types d erreurs diminuait le taux d occupation (ψ) comparativement aux modèles ne tenant compte que des FN dans 84 % des jeux de données d observations, ce qui indique que ψ peut comporter un biais important dans le cas d études ne corrigeant pas les deux types d erreurs. Nos données tirées d enregistreurs autonomes (EA) présentaient deux états de détection, « confirmé » et « non-confirmé »; la confirmation reposait sur l accord de deux interprètes et la simulation de performance du MEMD utilisant ce type de données issues d EA. Nous avons constaté que le MEMD peut corriger correctement les erreurs liées aux FN et aux FP dans une grande étendue de taux d observation et de taux de détection (d), et est approprié pour les données présentant des « détections confirmées ». Nous avons élaboré un modèle de classification binaire assignant le risque de biais de jeux d observations fondé sur les paramètres de relevé et de modèle, et avons trouvé qu un faible risque de biais ne peut pas être prédit par une seule variable ou valeur, mais se présente plutôt sous certaines combinaisons faiblement naïves du taux d occupation (< ~0,2), du taux de détection (< ~0,2), du nombre de mentions confirmées (< ~20) et du taux élevé de FP (> ~0,07). Notre approche d interprétation de données d EA couplée à nos recommandations d analyse devraient contribuer à réduire l inflation possible de ψ résultant d erreurs liées aux FP.