Politiikka

Arviointi vuoden 2016 vaaliennusteet

Aiemmin tässä kuussa BuzzFeed Newsissa Ilmoitimme, että arvioimme tämän vuoden vaaliennusteita . Maanantai -iltapäivänä Michiganin Canvassers Board vihdoin todisti Trumpin voiton . Nyt kun jokainen valtio on vihdoin kutsuttu - olettaen että Jill Steinin kertomustyö ei muuta asioita - meillä on tulokset.

Kyllä kyselyt olivat väärässä . Mutta jotkut ennustajat, jotka yleensä luottavat kyselyihin ja usein yhdistävät ne muihin tietoihin kertoakseen, kuka voittaa, olivat vähemmän väärässä kuin toiset. Sen määrittäminen ei vaadi hienoa matematiikkaa Nate Silverin FiveThirtyEight -ennusteet Vaikka he antoivat Hillary Clintonille paremmat kertoimet kuin Trumpille, he olivat vähiten väärässä. Hän ei vain antanut Trumpille enemmän kuin yhden neljässä mahdollisuutta voittaa vaalit, vaan myös toistuvasti puolustettiin hänen ennusteensa ' nousua Trumpille , syistä myöhemmin todistettu ennakoiva . Muut korkean profiilin ennusteet antoivat Trumpille pieniä tai katoavia kertoimia.

Yhteenvetona voidaan todeta, että tässä ovat tarkastamamme ennusteet, jotka on lueteltu todennäköisyydellä, että Trump voittaisi tai sitoisi Clintonin vaalilautakunnassa:



Nämä ennusteet perustuvat siihen, miten jokaisen 50 osavaltion ja Columbian piirin odotettiin äänestävän. Voimme saada paremman käsityksen - vaikkakin epätäydellisestä - ennustajien tuomiosta tarkastelemalla, miten he ennustivat yksittäisten osavaltioiden kilpailuja.

Perusteet perustuvat tähän: Ketkä ennustajat saivat eniten puheluita oikein? Mikä oli lähimpänä Clintonin ja Trumpin lopullisia marginaaleja? Mitkä ennustajat tasapainottavat parhaiten luottamusta ja oikeellisuutta? (Esimerkiksi: Antoivatko he Clintonille 99% mahdollisuuden voittaa Michiganin tai 80%? Ja olivatko he oikeassa?)

Yksinkertainen lähestymistapa monimutkaisten ennusteiden arviointiin

Yksinkertaisin tapa on laskea kunkin ennustajan kutsumien tilojen määrä oikein. Mutta siitä puuttuu kriittinen vivahde. Siinä ei esimerkiksi oteta huomioon 51% ja 99% kertoimien välistä eroa. Silti se on helppo paikka aloittaa.

Princetonin vaalikonsortion Sam Wang arvasi enemmän osavaltioita oikein kuin kukaan muu tarkastamamme: 46 ja District of Columbia. Silverin FiveThirtyEight ja lähes kaikki muut ennusteet saivat 45 oikein. (Wang, toisin kuin muut ennustajat, luuli Trumpin voittavan Pohjois -Carolinan.)

Tämä korostaa paradoksia: Huolimatta siitä, että Clinton otti väärän luottamuksensa siihen, että Clinton ottaisi Valkoisen talon - mikä antaa hänelle 99% mahdollisuuden - Wang arvasi enemmän osavaltioita oikein kuin kukaan muu.

Joten miksi hän ajatteli, että Trumpilla oli niin pieni mahdollisuus voittaa? Ei vain osavaltion kyselyt epäonnistuvat mutta useimmat epäonnistuivat samalla tavalla: aliarvioivat Trumpia. Tätä kutsutaan korrelaatiovirheeksi. Kaikki ennustajat ymmärtävät, että kyselyt eivät ole täydellisiä; joskus he haastattelevat vääriä ihmisiä tai painottaa vastauksiaan väärin . Mutta osa ennustajan tehtävästä on arvioida, kuinka todennäköinen - ja kuinka laaja - korreloitu virhe voi olla. Monet ennustajat piti mahdollisuutta epätodennäköisenä , mutta Nate Silver ei .

Tässä vaalien jälkeen se on minun syytäni , Wang piti tätä virhettä ennusteen Achilles -kantapäänä. En arvioinut oikein korreloidun virheen kokoa - kertoimella viisi, hän kirjoitti. Kyselyt epäonnistuivat, ja vahvistin epäonnistumista.

Vivahteikkaampi lähestymistapa

Oletko valmis hieman matematiikkaan? Mittari nimeltä Brier pisteet käytetään laajalti ennustajien tarkkuuden määrittämiseen - vaaleissa ja sen jälkeen. (Se on tärkein mittari sanoimme, että käytämme luokittelussa . Olemme lähettäneet tiedot ja koodi näiden laskelmien takana GitHubissa .)

Brier -pisteet ottavat huomioon vain kaksi asiaa: Kuinka todennäköisesti ennustaja uskoi, että jotain tapahtuisi, ja tekikö sen? Brier -pisteet palkitsevat luottamuksen, kun olet oikeassa, mutta rankaisevat luottamuksesta, jos olet väärässä.

Pienemmät pisteet ovat parempia. Nolla on paras mahdollinen tulos - se tarkoittaa, että olit 100% varma ennusteistasi ja ne kaikki osuivat oikeaan. Huonoin mahdollinen tulos on 1 - olit 100% varma ennusteistasi, ja ne kaikki olivat väärässä.

Alla on kahdenlaisia ​​Brier -pisteitä kullekin ennusteelle. Ensimmäistä painotetaan kunkin valtion äänioikeudella siten, että Pennsylvania (20 ääntä) laskee viisi kertaa niin paljon kuin New Hampshire (4 ääntä). Toinen laskee jokaisen valtion yhtäläisesti:

Kuten näette, FiveThirtyEightin ennusteet osuivat parhaiten. TheNew Yorkin ajatja PollSavvy - joka antoi Trumpin presidenttikaudelle seuraavat parhaat mahdollisuudet FiveThirtyEightin jälkeen - saavutti myös suhteellisen hyvin osavaltion tasolla. Huonoimmin toimivat ennusteet olivatHuffington postjaPäivittäin Kos, jotka molemmat antoivat lähes varmat kertoimet Clintonin voitolle Pennsylvaniassa, Wisconsinissa ja Michiganissa. (Pian vaalien jälkeenHuffington postÄänestystoimittaja kirjoitti artikkelin selittäen miten puhalsimme sen ja mitä teemme estääksemme sen toistumisen .)

Yllä olevassa kaaviossa huomaat, että kaikki ennusteet olivat painotetussa sarakkeessa huonompia kuin painottamaton. Se on lähinnä sanonta: Kaiken kaikkiaan ennustajat olivat ennustaneet tulosta huonommin väkirikkaammissa osavaltioissa kuin pienemmissä. (Sivuhuomautus: Jopa tämän vuoden tarkimmat ennusteet toimivat huonommin Brier -pisteillä kuin mitä tahansa korkean profiilin ennusteita vuonna 2012 , vaaleissa paljon vähemmän yllätyksiä.)

Toinen yleinen mittari, logaritminen pisteytyssääntö - mikä asettaa vielä suuremman rangaistuksen harhaanjohtavasta luottamuksesta - tuottaa samanlaisia ​​sijoituksia ylhäällä ja alhaalla, muutamalla vuorolla paketin keskellä ja rankaiseePäivittäin Kosylimääräistä sen puolesta äärimmäistä nousua Clintonissa Michiganissa :

Huomautus: Pyöristyksen huomioon ottamiseksi edellä mainitut lokitulokset pitävät kaikkia 0%: n mahdollisuuksia 0,01% (tai 1/10 000) mahdollisuutena.

Tarkasteltaessa ennustajien aikojen ennusteita, voit nähdä FiveThirtyEightin ennusteen erillään muusta paketista marraskuun alussa:

Äänestyksen ennustaminen

On selvää, että kyselyt aliarvioivat Trumpin tuen. Mutta mikä ennuste ennusti valtion tason äänimäärät tarkimmin? Tähän on hieman vaikeampi vastata, koska ennustajat edustivat Trumpin odotettua voittomarginaalia hieman eri tavoin. Voimme ryhmitellä ennusteet kahteen tyyppiin, joissa on päällekkäisyyksiä:

  • Ennusteet, jotka mahdollistavat Trumpin odotusten laskemisenprosenttiyksikön voittomarginaaliyli Clintonin, kaikkien äänien joukossa. Tämä ryhmä sisältää FiveThirtyEight, PollSavvy,New Yorkin ajat, Princetonin vaalikonsortio jaHuffington post.

  • Ennusteet, jotka mahdollistavat Trumpin odotusten laskemisenosuus kahden puolueen äänistä(eli pois lukien Johnson, Stein ja McMullin). Tämä ryhmä sisältää FiveThirtyEight, PollSavvy,Päivittäin Kos, Kremp /Liuskekivija Desart ja Holbrook. (PredictWise ei tehnyt ääniosuuksien ennusteita.)

Laskimme jokaiselle presidentin osavaltion ennusteelle - lukuun ottamatta DC: tä (jota jotkut ennusteet eivät arvioineet) ja Utahia (jossa ennustajat suhtautuivat eri tavoin McMullinin ehdokkuuteen) - juuren keskimääräinen neliövirhe ennustajien ennustetuista marginaaleista verrattuna todellisiin tuloksiin. (Jotkut osavaltiot eivät ole vielä ilmoittaneet äänestyksestään kokonaan, mutta kunkin kilpailun nykyiset marginaalit näyttävät olevan vakaita. Päivitämme postauksen, kun lopulliset lopulliset laskut ovat tulleet.)

Ensimmäisestä ryhmästä FiveThirtyEight sijoittui parhaiten (pienemmät numerot ovat parempia):

Toisten joukossa FiveThirtyEight menestyi huonommin osittain siksi, että se aliarvioi Trumpin tuen republikaanien tukikohdissa, kuten Länsi -Virginiassa ja Etelä -Dakotassa, enemmän kuin esim.Päivittäin Kosteki:

Senaatti kilpailee

Monet ennustajat julkaisivat myös ennusteita tämän vuoden senaatin kisoista. Alla oleva taulukko näyttää, miten he tekivät arvosanan 32 kilpailussa. (Emme arvostelleet Kalifornian senaattikilpailua, jossa kaksi demokraattia vastustettiin toisiaan, tai Louisiana, joka oli teknisesti ensisijainen.)

Tässä FiveThirtyEight jaNew Yorkin ajatjohti pakettia, vaikka tarkka sijoitus riippuu siitä, miten pistät sen. Brier-pisteiden mukaan FiveThirtyEightin gallup-plus -malli edistiAjat. Mutta logaritminen pisteytyssääntö määräsi juuri tarpeeksi ylimääräisiä rangaistuksia kyselyjä vastaan-ja koska se oli liian luottavainen Russ Feingoldin mahdollisuuksiin Wisconsinissa-antaaAjatykköspaikka.

Siinä se tältä vuodelta.