Modellen & Makelaars: the real deal

Dan nog even inhoudelijk; op de koffie gaan bij makelaars was een leuke bijkomstigheid, maar met koffienipperij noch een geïnteresseerde houding kon ik eindprojectpunten scoren. Er moest onderzoek gedaan worden: de data verzamelen was dus al een hele kunst, maar ook het analyseren van de gegevens en het trekken van voorzichtige conclusies horen erbij.

Van te voren wilde ik weten of door het alleenrecht van makelaars om visuele informatie te kunnen gebruiken t.o.v. modellen, de geschatte marktwaarde ook preciezer en accurater zou zijn dan die van het model. Als we naar de geschiedenis kijken van experts tegenover modellen, zien we dat de vondsten in het nadeel van experts, dus in dit geval ook van makelaars, spreken. Dit komt onder andere doordat mensen niet objectief genoeg afwegingen kunnen maken van waarde tussen eigenschappen.
In dit geval bijvoorbeeld: hoeveel is een extra badkamer nou waard als het huis een tuin heeft?

Wat echter een vleugje hoop bood voor de makelaars is het feit dat in de gevallen dat experts wél beter presteerden dan het model, ze over meer informatie beschikten. In dit geval dus visuele informatie. Nou was het omgekeerde niet het geval; in alle onderzoeken waarin experts meer informatie hadden dan het model, presteerde de laatste toch nog vaak beter. Met visuele informatie als ruggensteuntje voor de experts, was de prestatievergelijking met modellen nog nooit gemaakt.

Uit onze studie blijkt inderdaad dat makelaars met visuele voorsprong net iets beter zijn dan het statistische model dat we gebruikten. Maar dit was dus alleen het geval als makelaars foto’s, plattegronden en straatbeelden tot hun beschikking hadden tijdens het schattingsproces. Want zodra de visuele informatie wegviel, presteerde het model weer beter. Zoals verwacht, want in de conditie met dezelfde informatie als het model, valt de prestatievergelijking weer in de groep waarvan vorig onderzoek aantoonde dat experts het bijna nooit beter doen.

Dan zijn er nog, zoals elk onderzoek dat wel heeft, kanttekeningen die het trekken van een conclusie lastig maken. Want hoe representatief is het schatten van marktwaardes op papier nou werkelijk ten opzichte van het dagelijkste werk in het echte leven? Dat is de eerste klacht waar makelaars mee komen. Maar ter verdediging van het model valt er ook wat te zeggen: het gebruikte model was verre van verfijnd. Statistische aanpakken die nog ingezet kunnen worden, zouden zomaar tot een model kunnen leiden dat ook betere marktwaardes voorspelt dan makelaars mét visuele informatie. En natuurlijk blijft het altijd de vraag hoe representatief de groep makelaars is ten opzichte van de totale makelaarspopulatie, wat ook weer geldt voor de representatieve waarde van de uitgekozen cases voor het experiment.

Daarnaast bestaan er ook nog statistische fouten waar je weinig aan kunt doen, zoals het maken van type I (false positive) of type 2 (false negative)  fouten. Maar dat terzijde; het idee van een bachelor eindproject doen lijkt mij dat je ervaring met onderzoek opdoet, niet dat je perfecte resultaten vindt (sterker nog, weten dat perfecte resultaten niet zomaar te krijgen zijn, is al even belangrijk).

Bij dezen een verwijzing naar het officiële report, als naslagwerk voor mijn bevindingen. En ook die van mijn twee groepsgenoten, waarvan één heeft zitten sleutelen met verschillende modellen, en de ander die zich heeft bezig gehouden met het vertrouwen in modellen.

 De drie reports
 Een Engelse samenvatting van onze mentor (waar overigens ook "de drie reports" link van is)