Felkvot - utbildningsdata

antal_ejOK_i_pop <- round(felkvot*population)
antal_OK_i_pop   <- population - antal_ejOK_i_pop

simData <- rhyper(antalstick, antal_OK_i_pop, antal_ejOK_i_pop, stickprov)

simfelkvot <- 1 - simData/stickprov
Data       <- data.frame(simfelkvot)

medelfelkvot <- round(mean(simfelkvot), 2)
standfelkvot <- round(sd(simfelkvot), 3)

del1 <- "  Medelv.: "
del2 <- "  Stand.: "

medeltext <- paste(c(del1, medelfelkvot), collapse="")
standtext <- paste(c(del2, standfelkvot), collapse="")
Nnp <- paste(c("  N, n, p:", " ", population, ", ", stickprov, ", ", felkvot),collapse="")

library(ggplot2)

# ---------------------------------------- Histogram för felkvoter ----------------

hist <- ggplot(Data, aes(simfelkvot)) + geom_histogram(bins=10, color='black', fill='red', alpha = 0.3, position = 'identity')
hist <- hist + annotate("text", x = -Inf, y = Inf, label=" Histogram felkvoter", vjust = 2.0,  hjust = 0, size = 5.5, colour = "blue" )
hist <- hist + annotate("text", x = -Inf, y = Inf, label=medeltext, vjust = 6.5, hjust = 0, size = 4, colour = "red" )
hist <- hist + annotate("text", x = -Inf, y = Inf, label=standtext, vjust = 8.5, hjust = 0, size = 4, colour = "red" )
hist <- hist + annotate("text", x = -Inf, y = Inf, label=Nnp,       vjust = 10.5, hjust = 0, size = 4, colour = "red" )
hist <- hist + annotate("text", x =  medelfelkvot, y = 0, label="|", size = 12, colour = "red" )
hist <- hist + annotate("text", x =  felkvot,      y = 0, label="|", size = 8, colour = "blue" )
hist

antal_ejOK_i_pop <- round(felkvot*population)
antal_OK_i_pop   <- population - antal_ejOK_i_pop

simData <- rhyper(antalstick, antal_OK_i_pop, antal_ejOK_i_pop, stickprov)

simfelkvot <- 1 - simData/stickprov
Data       <- data.frame(simfelkvot)

medelfelkvot <- round(mean(simfelkvot), 2)
standfelkvot <- round(sd(simfelkvot), 3)

del1 <- "  Medelv.: "
del2 <- "  Stand.: "

library(ggplot2)

# ---------------------------------------- Histogram för felkvoter ----------------

antal_ejOK_i_pop <- round(felkvot*population)
antal_OK_i_pop   <- population - antal_ejOK_i_pop

simData <- rhyper(antalstick, antal_OK_i_pop, antal_ejOK_i_pop, stickprov)

simfelkvot <- 1 - simData/stickprov
Data       <- data.frame(simfelkvot)

medelfelkvot <- round(mean(simfelkvot), 2)
standfelkvot <- round(sd(simfelkvot), 3)

del1 <- "  Medelv.: "
del2 <- "  Stand.: "

library(ggplot2)

# ---------------------------------------- Histogram för felkvoter ----------------

x <- antalfelaktiga
n <- stickprov

alfavarden <- c(0.10, 0.05, 0.01)

if(x == 0) {alfavarden <- alfavarden * 2 }    # All sann i andra svansen.
alfa <- alfavarden[1]
conf <- 1 - alfa/2

v1 <- 2*(n-x + 1)
v2 <- 2*x

v3 <- 2*(x + 1)
v4 <- 2*(n-x)

if(x > 1) {F1 <- qf(conf, v1, v2)}
F2 <- qf(conf, v3, v4)

estp010 <- x/n

if (x > 1) { lower010 <- x/(x+(n-x+1)*F1)
}  else {lower010 = 0
}

#lower010 <- x/(x+(n-x+1)*F1)       # The lower endpoint of the interval.
upper010 <- (x+1)/(x+1+(n-x)/F2)   # The upper endpoint of the interval.

alfa <- alfavarden[2]
conf <- 1 - alfa/2

if(x > 1) {F1 <- qf(conf, v1, v2)}
F2 <- qf(conf, v3, v4)

estp005 <- x/n
if (x > 1) { lower005 <- x/(x+(n-x+1)*F1)
}  else {lower005 = 0
}
upper005 <- (x+1)/(x+1+(n-x)/F2)   # The upper endpoint of the interval.

alfa <- alfavarden[3]
conf <- 1 - alfa/2

if(x > 1) {F1 <- qf(conf, v1, v2)}
F2 <- qf(conf, v3, v4)

estp001 <- x/n
if (x > 1) { lower001 <- x/(x+(n-x+1)*F1)
}  else {lower001 = 0
}
upper001 <- (x+1)/(x+1+(n-x)/F2)   # The upper endpoint of the interval.

# ---------------------------------------

del1 <- "Konfidensintervall för p  "
del2 <- "(x = "
del3 <- ", n = "
del4 <- ")"
titel <- paste(c(del1, del2, x, del3, n, del4), collapse="")

lower <- c(lower010, lower005, lower001)
estp  <- c(x/n, x/n, x/n)
upper <- c(upper010, upper005, upper001)

#alfa <- c(0.10, 0.05, 0.01)

#conf <- 1 - alfa/2

#F1 <- qf(conf, v1, v2)
#F2 <- qf(conf, v3, v4)

Y <- c(3, 2, 1)
intervall <- data.frame(lower, estp, upper, Y)

library("reshape2")                          # Load reshape2 package
intervall <- melt(intervall, id.vars = "Y")

lower1Ut = round(lower[1], 4)
lower2Ut = round(lower[2], 4)
lower3Ut = round(lower[3], 4)

upper1Ut = round(upper[1], 4)
upper2Ut = round(upper[2], 4)
upper3Ut = round(upper[3], 4)

estUt    = round(estp[1], 4)

library(ggplot2)
confDiagram <- ggplot(intervall, aes(x = value, y = Y)) + geom_point(size=3)  # Ritar grafen.
confDiagram <- confDiagram + theme(axis.text.y = element_blank())
confDiagram <- confDiagram + ylim(0, 4)

confDiagram <- confDiagram + geom_hline(yintercept=1) + geom_hline(yintercept=2) + geom_hline(yintercept=3)

confDiagram <- confDiagram + geom_segment(aes(x = lower[1], y = 3, xend = upper[1], yend = 3), color = "red", linewidth = 2)
confDiagram <- confDiagram + geom_segment(aes(x = lower[2], y = 2, xend = upper[2], yend = 2), color = "red", linewidth = 2)
confDiagram <- confDiagram + geom_segment(aes(x = lower[3], y = 1, xend = upper[3], yend = 1), color = "red", linewidth = 2)

confDiagram <- confDiagram + geom_segment(aes(x = estp[1], y = 0.9, xend = estp[1], yend = 1.1), color = "blue", linewidth = 1)
confDiagram <- confDiagram + geom_segment(aes(x = estp[1], y = 1.9, xend = estp[1], yend = 2.1), color = "blue", linewidth = 1)
confDiagram <- confDiagram + geom_segment(aes(x = estp[1], y = 2.9, xend = estp[1], yend = 3.1), color = "blue", linewidth = 1)
confDiagram <- confDiagram + labs(y = "", x = "Konfidensintervall (p)")
confDiagram <- confDiagram + annotate("text", x=lower[3], y=1.2, label="alfa = 0.01", hjust = 0)
confDiagram <- confDiagram + annotate("text", x=lower[3], y=2.2, label="alfa = 0.05", hjust = 0)
confDiagram <- confDiagram + annotate("text", x=lower[3], y=3.2, label="alfa = 0.10", hjust = 0)
confDiagram <- confDiagram + annotate("text", x = mean(range(lower[1], upper[1])), y = Inf, label=titel, vjust = 3.5, hjust = 0.2, size = 5, colour = "blue" )

confDiagram <- confDiagram + annotate("text", x=lower3Ut, y=0.8, label=lower3Ut, size=3.5)
confDiagram <- confDiagram + annotate("text", x=lower2Ut, y=1.8, label=lower2Ut, size=3.5)
confDiagram <- confDiagram + annotate("text", x=lower1Ut, y=2.8, label=lower1Ut, size=3.5)

confDiagram <- confDiagram + annotate("text", x=estUt, y=0.8, label=estUt, size=3.5)
confDiagram <- confDiagram + annotate("text", x=estUt, y=1.8, label=estUt, size=3.5)
confDiagram <- confDiagram + annotate("text", x=estUt, y=2.8, label=estUt, size=3.5)

confDiagram <- confDiagram + annotate("text", x=upper3Ut, y=0.8, label=upper3Ut, size=3.5)
confDiagram <- confDiagram + annotate("text", x=upper2Ut, y=1.8, label=upper2Ut, size=3.5)
confDiagram <- confDiagram + annotate("text", x=upper1Ut, y=2.8, label=upper1Ut, size=3.5)

confDiagram

Info, referenser, m.m...

6. Analys av p – en proportion

Varje punkt är en komponent, människa, träd... (se 'info'-knappen)

Sann felkvot (p):

Antal enheter i populationen (N):

Antal felaktiga enheter (X):

Felkvot i simuleringen (X/N):

Antal enheter i stickprov (n):

Antal felaktiga i stickprov (x):

Observerad felkvot (p-hat = x/n):

Antal stickprov (simulering i R):

Fig 1...

Fig 2...

Andra övningar

Visa/dölj programkod för R

Visa/dölj kommentarer

Rutorna innehåller parametervärden som används för att simulera data. En ändring registreras direkt i kommandorutan till höger:

Sann felkvot (p): I dessa övningar simuleras enheter som är antingen 'OK'/'ej OK' eller 'frisk'/'sjuk', etc. Sannolikheten för 'ej OK' är 'p' (och sålunda är sannolikheten 1-p för 'OK'). 'p' är den okända men intressanta parametern.

Antal enheter i populationen (N): Anger antal prickar i diagrammet. (Populationens storlek är nästan alltid – märkligt nog – betydelselös i stickprovssammanhang.)

Antal felaktiga enhetet (X): Antal (simulerat) röda ringar i diagrammet.

Felkvot i simuleringen (X/N): Beräknad felkvot (bör bli nära 'Sann felkvot').

Antal enheter i stickprov (n): Är det antal enheter som 'avsynats'.

Antal felaktiga i stickprovet (x): Är antalet felaktiga som hittats i stickprovet.

Observerad felkvot (p-hat = x/n): Felkvoten i stickprovet (bör bli nära 'Sann felkvot').

Fig 1...: Visar två olika grafer.

Andra övningar Visar på andra övningar på sidan ovn.ing-stat.se.

Observera att ordet 'felkvot' kan lika gärna vara 'rättkvot' eller 'andel som överlevde 5 år' eller någon annan proportion som studeras.

Alla förändringar som görs i indatarutorna registreras på sidans 'kommandoruta'.

Det finns tre knappar som visar övningar och texter (övningar i pdf-format kan skrivas ut och användas).

••••

• Varje grå punkt motsvarar en komponent eller en människa eller ett träd eller ett djur eller något annat och där varje enhet tillhör en av två grupper ('OK'/'ej OK', 'frisk/sjuk' osv.).

• Varje röd ring är en felaktig komponent eller en sjuk människa, etc.

• Varje kryss är en enhet som ingår i stickprovet och som kontrolleras eller undersöks.

Klicka på 'Repetera'-knappen för att repetera simuleringen.

(Det finns inga felbedömningar, dvs en komponent som klassats som felaktig är verkligen felaktig):

'Visa/dölj population' (alla grå punkter)

'Visa/dölj alla felaktiga' (alla röda ringar)

'Visa/dölj stickprov' (alla kryss)

••••

'Kopiera/Klistra in' raden i rutan nedan till 'Session window' i Minitab vid "MTB >"-prompten och tryck sedan på [Enter]-knappen på tangentbordet.

Kommandot startar ett Minitab-makro (%ConfpWeb) där första siffran är stickprovets storlek och den andra siffran är antal felaktiga i stickprovet. (Obs att populationens storlek inte ingår i analysen.)
Med dessa uppgifter beräknas inte bara felkvoten utan också ett konfidensintervall för 'p'. (De två övriga siffrorna anger vilka grafer som skall skrivas ut av Minitab.)

Om värdet ändras i någon av indatarutorna ändras också motsvarande kommando i rutan.

••••

Allmänt. Denna övning handlar om analys av en proportion ('procentsats') inklusive ett s.k. konfidensintervall och dess tolkning. Dylika intervall är vanliga inom statistisk analys och handlar om att 'fånga in' det sanna värdet på en okänd parameter, här p-värdet.

Beräkning av intervallet. Många statistikprogram beräknar rutinmässigt intervallets ändpunkter. Förvånande nog är detta ganska komplicerat för ett p-värde (speciellt som en procentsats anses vara ganska enkel). Denna beräkning redovisas inte här.

Tolkning av intervallet. Även om ett intervall anges enkelt som t.ex. '0.045 - 0.135' (dvs 'intervallet för p är 4.5 till 13.5%') skall det tolkas som att 'intervallet av p-värden 0.045-0.135 inte kan förkastas som möjliga värden på p'.

Formler. Sannolikheten för ett visst utfall (ett visst antal felaktiga i stickprovet) beror på situationen. Om man drar ett stickprov (n) ur en tydlig och avgränsad population (N) används en s.k. hypergeometrisk sannolikhetsfördelning.
Om man i stället dragit stickprovet utan en definerad och avgränsad population (kanske en oändligt stor population) används en s.k. binomialfördelning.

Nedanstående formler redovisar teoretiskt medelvärde ('my') och standardavvikelsen ('sigma') för proportionen. För bägge modellerna (hypergeometrisk och binomial) gäller samma teoretiskt medelvärde (p). Det är som man kan förvänta – om det sanna värdet på proportionen är 0.14 så förväntar man samma resultat i stickprovet. Den övre formeln för standardavvikelsen gäller binomialfördelningen och de två formlerna är desamma förutom faktorn (N-n)/(N-1). Denna ger en mindre standardavvikelse för p då man tar stickprov ur en begränsad population. Emellertid blir faktorn lätt nära ett och sålunda utan större betydelse:

μ = p

σ = \sqrt{\frac{p (1 - p)}{n}}

σ = \sqrt{\frac{p (1 - p)}{n} \cdot \frac{N - n}{N - 1}}

••••

Förberedelser
Det finns fem olika 'info'-knappar. Klicka på alla och läs instruktioner och kommentarer. Klicka upprepade gånger på 'Repetera'-knappen och se hur grafen förändras och att resultaten skrivs i respektive fält.

Övning 1 – stort N
Stickprovets storlek i förhållande till populationen har i de allra flesta fall väldigt liten betydelse. Öka successivt N och se att proportionens sigma (röda siffror rad 2 och 3) förändras. Då sidan laddas är värdena 0.032 respektive 0.023. Då N ökas ökar också den undre siffran och närmar sig och blir till slut samma som det övre sigma-värdet.
Det betyder att trots att stickprovets andel av populationen minskar, så ökar inte osäkerheten.

Övning 2 – n = N
Sätt både n och N till, säg, 500. Det betyder att hela populationen avsynas och därmed är osäkerheten noll, det undre sigma = 0. Klicka på den övre 'info'-knappen och titta på den undre sigmaformeln. Då n = N blir faktorn (N - n)/(N - 1) noll och sålunda hela uttrycket 0.

Övning 3 – beräkning av ett konfidensintervall
Ett konfidensintervall är ett intervall som med en viss sannolikhet omfattar det sanna värdet för parametern ifråga, här p-värdet. Själva beräkningen är komplicerad och kräver ett statistikprogram. Den senaste simuleringen finns i kommandorutan och skall kopieras över till Minitab. Då genereras två grafer med dels illustration av begreppet konfidensintervall, dels tre olika intervall (tre olika säkerheter).
(Se också https://www.ing-stat.se/anim/konfbin/confbin3.php)

Övning 4 – 0 felaktiga i stickprovet
Antag att man fått 0 felaktiga i stickprovet. Detta betyder knappast att den sanna felkvoten är 0, kanske bara låg. Det är dock möjligt att beräkna ett konfidensintervall. Gör en Minitab-körning med de givna uppgifterna ("0 fel" är förprogrammerat). Notera att konfidensintervallet blir ganska skevt.
(Se också dokumentet A fairy tale på sidan https://www.ing-stat.se/art1.php.)

Övning 5 – simulering som illustrerar övning 4
Om övning 4 körs med stickprovsstorlek 150 blir den övre gränsen för ett 95%-igt konfidensintervall 0.0198 (dvs nästan 2 procent). Det skall tolkas som att det finns en risk (5%) att få 0 felaktiga i stickprovet trots att felkvoten är så hög som 0.02.
Se utfallet från histogram och 'Tally'-kommandot i Minitab.

••••

De tre sifferuppgifterna visar det teoretiska medelvärdet och den teoretiska standardavvikelsen (sigma) för proportionen (två värden). Det första sigma gäller om stickprovet kan anses komma från en oänligt stor population ('binomialfördelning').
Det andra sigma gäller om stickprovet är draget ur en definierad och begränsad population (N) ('hypergeometrisk fördelning'). Det första värdet är alltid större eller lika med det undre värdet.

Ändra (N) till allt större värden och se att de två sigma blir mer och mer lika. Detta visar att populationens storlek förlorar i betydelse, det viktigaste är stickprovets storlek.

••••