Tytuł:

Controlling the effect of multiple testing in Big Data

Tytuł publikacji grupowej:

Mathematical Economics

Autor:

Denkowska, Sabina

Temat i słowa kluczowe:

multiple testing ; FDR ; Big Data

Opis:

Mathematical Economics, 2014, Nr 10 (17), s. 5-16

Abstrakt:

Big Data poses a new challenge to statistical data analysis. An enormous growthof available data and their multidimensionality challenge the usefulness of classical methodsof analysis. One of the most important stages in Big Data analysis is the verification ofhypotheses and conclusions. With the growth of the number of hypotheses, each of which istested at  significance level, the risk of erroneous rejections of true null hypotheses increases.Big Data analysts often deal with sets consisting of thousands, or even hundreds ofthousands of inferences. FWER-controlling procedures recommended by Tukey [1953], areeffective only for small families of inferences. In cases of numerous families of inferencesin Big Data analyses it is better to control FDR, that is the expected value of the fraction oferroneous rejections out of all rejections. The paper presents marginal procedures of multipletesting which allow for controlling FDR as well as their interesting alternative, that isthe joint procedure of multiple testing MTP based on resampling [...]

Wydawca:

Wydawnictwo Uniwersytetu Ekonomicznego we Wrocławiu

Miejsce wydania:

Wrocław

Data wydania:

2014

Typ zasobu:

artykuł

Format:

application/pdf

Identyfikator zasobu:

doi:10.15611/me.2014.10.01

Język:

eng

Powiązania:

Mathematical Economics, 2014, Nr 10 (17)

Prawa:

Wszystkie prawa zastrzeżone (Copyright)

Prawa dostępu:

Dla wszystkich w zakresie dozwolonego użytku

Lokalizacja oryginału:

Uniwersytet Ekonomiczny we Wrocławiu