Zarządzanie niepewnością i losowością – rzecz o percepcji danych, cz. V

Dobra grafika statystyczna powinna pokazywać informację zawartą w danych liczbowych. Powinna to robić w taki sposób, by łatwo było odczytać i zrozumieć związek pomiędzy informacją a danymi. Obrazować, jak duże są pewne wielkości, jak ryzykowne są pewne rozwiązania, jak wyglądają zależności pomiędzy zjawiskami. Aby przekaz był zgodny z zamierzeniami, musimy być świadomi sposobu, w jaki nasz mózg postrzega liczby i zależności, w jaki sposób myśli o danych i w jakich sytuacjach postrzeganie liczb lub zależności może być zniekształcone. – mówi prof. Przemysław Biecek.

Publikując jego esej „Percepcja danych” pokażemy, jakie trudności są związane z percepcją dużych liczb, rzadkich zdarzeń, przypadkowości oraz zależności. Wiedząc o tych trudnościach, możemy lepiej zaprojektować wizualizację danych, aby ułatwić odbiorcy poprawne zrozumienie informacji. Pierwsza część eseju już jest tutaj „Za duża, żeby zrozumieć” , druga tutaj „Dziękuję za odpowiedź, ale nie o to pytałem”, trzecia – „Nie wszystko ma swoją przyczynę”, czwarta  – „Mit jedynej prawdziwej historii”.

a dzisiaj   „Zarządzanie niepewnością i losowością”.

Iwona D. Bartczak

__________________________________________________________

Kolejnym problemem percepcji jest sposób, w jaki rozumiemy losowość i niepewność. Aby zilustrować, jak bardzo trudne to są pojęcia, zauważmy, że korzenie matematycznej teorii prawdopodobieństwa, oparte o rachunek kombinatoryczny, sięgają jedynie siedemnastego wieku. Za początki współczesnej teorii rachunku prawdopodobieństwa uważa się rok 1933, w którym Andriej Kołmogorow przedstawił jej aksjomaty w książce Foundations of the Theory of Probability Wcześniejsze rozumienie prawdopodobieństwa było intuicyjne i nieprecyzyjne.

Czy dla przeciętnego obywatela ważne jest zrozumienie niepewności?

No cóż, w dobie powszechnych ubezpieczeń, zakładów losowych, zależności od giełdy (a dziś od blokad sanitarnych, wojen i sankcji można dopowiedzieć, artykuł powstał przed pandemią i wojną rosyjsko-ukraińską – przyp. IDB) można z całą pewnością powiedzieć, że rozumienie losowości i niepewności jest bardzo ważne. Zdają sobie z tego sprawę rządy krajów rozwiniętych, promując edukację swoich obywateli w tym kierunku. Świetnym przykładem, jak efektywnie taka edukacja może działać, jest profesor David Spiegelhalter. W roku 2007 otrzymał on pozycję profesora w obszarze społecznego i publicznego rozumienia ryzyka (ang. Professorship of the Public Understanding of Risk). Na różnych frontach (internet, publiczne prezentacje, książki) edukuje obywateli Wielkiej Brytanii na temat niepewności, zrozumienia ryzyka i innych tematów związanych z prawdopodobieństwem. Temat stał się bardzo ważny, gdy wina za spowodowanie kryzysu finansowego spadła na brak zrozumienia ryzyka. Zagadnienia, które porusza David Spiegelhalter, wykraczają poza ekonomię i często dotyczą tematyki medycznej (czynniki ryzyka a śmiertelność) i innych tematów. Współprowadzi on również bardzo ciekawy blog [David Spiegelhalter. Understanding uncertainty]

Oswajać się z niepewnością można na wiele sposobów, np. poprzez ciekawe zagadki. Przytoczmy jedną z takich zagadek.

Im mniejsza grupa, tym większa losowość

W pewnym mieście są dwa szpitale. Duży, w którym urodziło się 100 niemowlaków i mały, w którym urodziło się 10 niemowlaków. Czy jest bardziej prawdopodobne, że odsetek chłopców przekroczył 60% w dużym czy w małym szpitalu?

Intuicyjne rozwiązanie jest następujące. Zwiększenie liczby urodzonych chłopców ponad standardowe 50% jest równie prawdopodobne w obu szpitalach. Ale w przypadku małego szpitala każdy pojedynczy chłopiec to 10% wszystkich porodów, przypadkowość wynikająca z tego, że pojawi się kilku chłopców więcej bardziej wpłynie na udział procentowy. W małym szpitalu jest większa szansa na 60% lub więcej chłopców, ponieważ do uzyskania tego wyniku wystarczy o jeden chłopiec więcej niż wynikałoby to ze średniego udziału chłopców wśród niemowlaków. W dużym szpitalu musiałoby się urodzić 10 chłopców więcej niż średnio.

Puenta z tej zagadki jest jednak taka, że możemy spodziewać się większej względnej losowości dla małych grup niż dla dużych. Jeżeli badamy pewną cechę na bazie określonej liczby pomiarów, to im mniej pomiarów, tym mniej dokładna ocena. Z jednej strony to całkiem oczywiste i zrozumiałe zjawisko, a z drugiej strony bardzo łatwo o nim zapomnieć.

Zilustrujemy to przykładem z polskiego podwórka. Spróbujemy przyjrzeć się zależności pomiędzy małymi klasami a wynikami w nauce. Z jednej strony małe klasy kojarzą się nam z większą dostępnością nauczyciela, który może poświęcić więcej czasu pojedynczemu dziecku. Z drugiej strony w dużych klasach dziecko ma szanse poznać rozwiązania rówieśników, a jeżeli rówieśników jest więcej, to może się nauczyć bardziej różnorodnych metod rozwiązywania zadań. Dzieci w naturalny sposób uczą się, podglądając sposób pracy rówieśników. Jak więc jest z tymi małymi klasami, czy są one lepsze czy gorsze?

 

 

 Rysunek: Wyniki z badania PISA 2012 dla Polski. Przedstawiony jest średni wynik szkoły z czytania ze zrozumieniem w zależności od liczby 15-letnich uczniów w szkole biorących udział w badaniu. Źródło: opracowanie własne

Nie odpowiemy na to pytanie bezpośrednio, pokażemy jedynie problem, z jakim mierzą się badacze, próbując na takie pytania odpowiadać. Przyjrzymy się danym zgromadzonym podczas badania PISA 2012 dla Polski. W roku 2012 w tym badaniu brały udział 184 szkoły, zobaczmy, które z tych szkół mają najlepsze wyniki z czytania ze zrozumieniem. Nie mamy informacji o wielkości klas, ale uwzględniając sposób losowania uczniów do badania, można założyć, że mniejsze klasy są w szkołach, w których w badaniu wzięło udział jedynie kilku uczniów.

Co się okazuje? Trzy najlepsze szkoły, czyli szkoły o najwyższych średnich, to szkoły, w których w badaniu udział wzięło tylko kilku uczniów, a więc szkoły o małych klasach i tylko jednej klasie w danym roczniku na szkołę. Czy jest to dowód, że małe klasy są lepsze? Okazuje się, że trzy najgorsze szkoły, a więc szkoły o najniższych średnich, to również szkoły mniejsze niż średnia (średnia wielkość uczniów na szkołę w tym badaniu to około 30 osób).

Można w tym miejscu szukać cech wspólnych dla trzech najlepszych lub najgorszych szkół, ale w tym przypadku uzasadnione jest stwierdzenie, że najbardziej skrajne szkoły to małe szkoły, ponieważ w małych szkołach zmienność wyników jest największa. Im większa szkoła i im więcej uczniów z tej szkoły bierze udział w teście, tym częściej średnia ze szkoły jest przeciętna. Warto o tym pamiętać, układając rozmaite rankingi szkół. Błędem byłoby przypisanie efektu małej próby jako zasługi dla wyjątkowych warunków edukacyjnych dla dziecka. Musimy uwzględnić, że średnia liczona z małej liczby osób ma tendencję do większych losowych fluktuacji. Te najlepsze wyniki dla małych szkół, podobnie jak najgorsze, mogą być związane wyłącznie z wyższą zmiennością w małych klasach.

 Co się liczy w tym przykładzie?

Temat czynników wpływających na lepsze wyniki edukacyjne dzieci jest bardzo gorący. Rodzice często gotowi są do dużych inwestycji, aby tylko zapewnić dziecku dobrą edukację, i imają się wszelkich sposobów, by trafiło do jak najlepszej szkoły. Nic dziwnego, że artykuły dotyczące analizy czynników pozwalających na wybór szkoły są poczytne, a dyskusja czy lepsze są małe, czy duże klasy jest bardzo gorąca. W większości krajów na komfort małych klas pozwolić sobie mogą częściej prywatne szkoły, do których chodzą dzieci zamożniejszych rodziców, którzy z kolei są lepiej wyedukowani i mają większy dostęp do zasobów edukacyjnych. Jak więc wygląda efekt wpływu małych klas na wyniki edukacyjne dziecka, jeżeli uwzględni się też wszelkie czynniki związane ze statusem rodziców?

W książce [Steven Levitt and Stephen Dubner. Freakonomics: A Rogue Economist Explores the Hidden Side of Everything William Morrow, 2009] autorzy weryfikują dowody na wpływ różnych czynników związanych z rodzicami na wyniki szkolne dzieci. Upraszczając, pokazują oni, że czynniki, które mają wyraźny związek z wynikami dzieci to czynniki określone jeszcze przed narodzeniem dziecka, takie jak wykształcenie rodziców czy zamożność. Czynniki związane z decyzjami rodziców, wybór lepszej szkoły, przeprowadzenie się do “lepszej” dzielnicy z “lepszymi” rówieśnikami, wczesne zajęcia dodatkowe, mają niewielki efekt jeżeli wpierw uwzględnić “efekt rodzica”. Niestety, nasz umysł zapamięta te zależności, które możemy wykorzystać, nawet jeżeli ich efekt jest iluzoryczny.

Wielkość próby to tylko jeden z czynników wpływających na dokładność, z jaką można ustalić interesującą nas cechę. Posługując się ocenami we wnioskowaniu, warto uwzględnić niepewność, z jaką jesteśmy w stanie te oceny określić. Operowanie na niepewnościach to jednak słaby punkt naszego mózgu.

 

Czy nasz mózg potrafi oceniać precyzję oszacowania?

 

Nie bardzo. Aby to zilustrować, przedstawimy adaptację testu ze wspomnianej powyżej książki Super Crunchers. Poniżej przedstawiam dziesięć pytań. Zadanie polega na podaniu dla każdego z pytań takiego przedziału, że jesteśmy na 50% przekonani, że w danym przedziale znajduje się prawdziwa odpowiedź.

Jeżeli nie znamy dokładnej odpowiedzi na pytanie, to szacując ją, możemy podać wąski przedział, ryzykując, że będzie on za wąski i poprawna odpowiedź nie wpadnie do tego przedziału, możemy podać też przedział bardzo szeroki, by mieć pewność, że poprawna odpowiedź na pewno wpadnie do tego przedziału. Ale czy potrafimy zarządzać niepewnością tak, by za każdym razem podać przedział, do którego poprawna odpowiedź wpadnie na 50%?

Spróbuj Szanowny Czytelniku i sprawdź, czy udało Ci się podać przedziały, które pokryły poprawne odpowiedzi w mniej więcej pięciu przypadkach (na końcu tekstu poprawne liczby).

 

Jest to bardzo trudne zadanie. Co więcej, większość osób ma tendencje do zawyżania precyzji swoich oszacowań i budowania węższych przedziałów niż by należało. A co ciekawe, im bardziej uważamy się za dobrze poinformowanych, oczytanych, wyedukowanych, tym większą mamy tendencję, by uważać nasze szacunki za dokładne. Sokratesowskie „Wiem, że nic nie wiem” nie jest popularne w naszych czasach.

Jesteśmy przyzwyczajeni, by myśleć o informacjach w sposób zero-jedynkowy. Wiemy lub nie wiemy, wydarzy się lub nie wydarzy się, jest lepsza lub nie jest lepsza. Tymczasem w zadaniach wymagających oszacowań odpowiedzi stają się rozmyte. Wyniki badań może i lepiej wyglądają, jeżeli średni wynik przedstawimy z dokładnością do pięciu miejsc po przecinku, ale czy nie jest to mylące w sytuacji, gdy dokładność oszacowania tej średniej pozwala na określenie co najwyżej pierwszej cyfry po przecinku?

(Poprawne odpowiedzi: 3 476 kilometrów; 27 stycznia 1756; 1 047 kilometrów; 1 366 kilometrów; 38 501 tysięcy; 435 uczelni; Góra Kościuszki 2228 metrów; 1 711 324 mieszkańców; 113,4 km2; 312 679 km2)