Donata Marasini

Assessing the inter-rater agreement for ordinal data through weighted indexes

Assessing the inter-rater agreement between observers, in the case of ordinal variables, is an important issue in both the statistical theory and biomedical applications. Typically, this problem has been dealt with the use of Cohen’s weighted kappa, which is a modification of the original kappa statistic, proposed for nominal variables in the case of two observers. Fleiss (1971) put forth a generalization of kappa in the case of multiple observers, but both Cohen’s and Fleiss’ kappa could have a paradoxical behavior, which may lead to a difficult interpretation of their magnitude. In this paper, a modification of Fleiss’ kappa, not affected by paradoxes, is proposed, and subsequently generalized to the case of ordinal variables. Monte Carlo simulations are used both to testing statistical hypotheses and to calculating percentile and bootstrap-t confidence intervals based on this statistic. The normal asymptotic distribution of the proposed statistic is demonstrated. Our results are applied to the classical Holmquist et al.’s (1967) dataset on the classification, by multiple observers, of carcinoma in situ of the uterine cervix. Finally, we generalize the use of s* to a bivariate case.

A Measure of Ordinal Concordance for the Evaluation of University Courses

Abstract In this paper we apply the s* statistic, aimed to measure the inter-rater agreement between observers in case of ordinal variables, to the evaluation of the quality of University courses. The objective is to measure the inter-rater agreement between students, along with their satisfaction, in order to verify the consistency of judgments expressed by independent observers. s* is a modification of a previously proposed index, which avoids the problem of paradoxes of Cohens and Fleiss’ kappa statistics. We present the s* index from both a descriptive and an inferential point of view. In particular, as far as statistical inference is concerned, we show that s* is a biased estimator of the inter-rater agreement in the population and, under the null hypothesis of inter-rater agreement by chance, s* is asymptotically normally distributed.

Fuzzy Analysis of Students' Ratings.

Background: Intuitionistic fuzzy sets (IFS) represent a methodology for quantifying latent variables in questionnaire analysis through membership and non-membership functions, which are linked by an uncertainty function. Objectives: We aim to apply an IFS approach to the problem of students’ satisfaction of university teaching. Such framework can take into account a source of uncertainty related to items and another related to subjects. Results: A new technique for IFS analysis is set forth and generalized to a multivariate scenario. Potential advantages of the IFS perspective with respect to other nonfuzzy approaches are provided. Application: We apply this method to a national program of university courses evaluation and we focus, in particular, on the outcomes of two Masters in Statistics.

A Family of Indices for Teaching Evaluation: Experiences in Italian Universities

In order to analyze the student ratings of University teaching, several indices summarize the relative frequencies of positive and negative responses in a single numerical value. Focusing on linear functions of response frequencies, the paper studies some interesting families of indices for the measurement of student satisfaction. Special attention is paid to relationships between these families and to a particular family that arises in a natural way.

Metodi per correggere gli errori di copertura

Nel corso del processo in cui si progetta e realizza un’indagine le possibilita di errore non campionario sono molte. Gli errori di copertura sono i primi in cui si puo incorrere. Essi, definiti nel Par. 1.2.4, nascono dalla non corrispondenza tra le popolazioni obiettivo e frame e possono essere attribuiti a chi realizza l’indagine, perche non ha saputo trovare la giusta corrispondenza tra le due popolazioni, ma anche a cause estranee agli organizzatori della ricerca che dipendono, ad esempio, dalle particolari circostanze in cui l’indagine stessa viene a svolgersi, dalla specificita dei suoi obiettivi, dalla tipologia della popolazione oggetto di studio, dalla complessita del piano di campionamento e, non ultimo, dal metodo utilizzato per rilevare i dati. In sostanza, essi non sono imputabili direttamente all’oggetto dell’indagine e alle unita che si vogliono rilevare. Infatti, idealmente qualsiasi target o popolazione obiettivo, in presenza di risorse illimitate, potrebbe essere correttamente rappresentato dalla lista aggiornata e accurata degli elementi che lo compongono (frame).

L’impiego delle variabili ausiliarie per la costruzione degli stimatori

Nel capitolo precedente sono stati richiamati in modo schematico i principali piani di campionamento di uso corrente evidenziando il ruolo fondamentale delle informazioni disponibili nel frame. Ad esempio, conoscere la dislocazione territoriale delle unita statistiche consente di predisporre una stratificazione territoriale; oppure, nel caso sia nota la data di nascita degli individui e possibile definire una loro stratificazione per classe d’eta. Ancora, se per una popolazione di imprese e disponibile un archivio amministrativo con i dati sul settore di attivita produttiva e il numero degli addetti e possibile stratificare per settore e introdurre un campionamento con probabilita proporzionale al numero degli addetti. In questo capitolo, invece, verra trattato l’utilizzo delle informazioni sulla popolazione, anche provenienti da fonti alternative alla lista di campionamento, ai fini della costruzione dello stimatore da utilizzare, con l’obiettivo di accrescere l’efficienza del processo di stima.

Introduzione al campionamento da popolazioni finite

Lo scopo introduttivo di questo capitolo e quello di richiamare i concetti fondamentali del campionamento da popolazioni finite. Dopo alcune definizioni preliminari e una breve disquisizione sulla terminologia in uso, vengono ricordate le fasi di una indagine statistica e individuati gli errori che in ciascuna di esse possono aver origine. Come si vedra nei successivi capitoli di questo volume, dedicati proprio alle diverse tipologie di errore, l’impiego delle variabili ausiliarie per la individuazione e la correzione degli errori e fondamentale. Tuttavia, come e noto, ad esse si puo ricorrere anche per la costruzione del piano di campionamento. Questo non implica la correzione di alcun errore, ma una maggiore precisione ed aderenza alla realta che si vuole indagare e il ricorso alle variabili ausiliarie in questo caso puo essere inteso come un metodo preventivo degli errori. Non sempre e possibile disporre delle variabili ausiliarie per i diversi impieghi, puo allora essere necessario costruire ad hoc un data-set di tali variabili, per esempio con il campionamento a due fasi, che viene brevemente richiamato. Infine, vengono ricordati alcuni metodi di indagine che non seguono i canoni tradizionali del campionamento da popolazioni finite — sono i cosi detti campionamenti non probabilistici — alcuni molto in uso nelle indagini in ambito sociale. Anche se per essi non e possibile conoscere l’errore campionario, tuttavia, in questi casi, si puo ricorrere a metodi inferenziali diversi da quello tradizionale usato nel campionamento da popolazioni finite, noto come design-based.

I campionamenti probabilistici

Il presente capitolo riguarda i campioni probabilistici secondo la definizione fornita nel Par. 2.3 e fa riferimento a una situazione del tutto ideale. Cosi, si suppone che le unita delia popolazione frame, di numerosita nota e pari a N, coincidano con quelle della popolazione target e che tutte le unita comprese nel campione forniscano le risposte richieste.

Control Sample, Association and Causality

We introduce the control sample in survey sampling as a tool for measuring the association between a possible cause X and a particular effect Y. The elements of the target population are divided in two groups according to whether X is present or not, the absence of X identifies the control group. A random sample is selected from each group with the aim of measuring the association between X and Y. We propose an unbiased estimator of the associational risk difference between groups and then generalize our approach to the problem of estimating the causal risk difference.