Peter Nijkamp had de reputatie van een economisch supertalent dat jaar in jaar uit tientallen artikelen produceerde en boeken deed verschijnen, totdat er ergens in 2013 deuken in zijn onkreukbare reputatie werden aangebracht. Er zou iets zijn met een promovenda van hem. Dit gerucht was echter maar een prelude tot meer. Nijkamp zelf, zo werd gesuggereerd, zou zich bezondigen aan plagiaat, zelfplagiaat en/of gewoon aan slechte wetenschap. Ikzelf heb altijd half en half bewondering gehad voor de productiviteit van Nijkamp. Die bewondering was echter gebaseerd op zijn reputatie, niet op het grondig lezen van zijn werk. Toen de ‘affaire Nijkamp’ in full swing was, besloot ik in recent academisch werk van hem (met Akrima Kourtit) te duiken. Hieronder het resultaat: een bespreking van drie artikelen. Het viel niet mee.
Artikel 1. Over creatieve kampioenen
Samenvatting
Dit artikel van Akrima Kourtit en Peter Nijkamp, K&N vanaf nu, (Journal of Regional Science, 2013, pp. 749-777) gaat, onder meer, over de vraag of bedrijven in de ‘creatieve sector’ gebruik maken van strategische analyses, waarbij die bedrijven aan de hand van hun missie kunnen nagaan wat ‘kritische succesfactoren’ zijn voor de resultaten van het bedrijf en of er correcties nodig zijn om het gewenste doel te kunnen bereiken. Of bedrijven dergelijke analyses toepassen wordt aan de hand van interviews gemeten. Belangrijker voor het artikel is echter de vraag of bedrijven die dergelijke analyses toepassen ook werkelijk succesvoller zijn. De auteurs zijn niet echt onbevooroordeeld over deze vraag zoals blijkt uit dit citaat: “Bedrijven met een volledig geïmplementeerd systeem van strategische analyses hebben een sterkere concurrentiepositie dan bedrijven die een dergelijk systeem alleen maar overwegen.”
Uit de ‘literatuur’ weten de auteurs dat er externe en interne succesfactoren bestaan. Bij de externe factoren gaat het bijvoorbeeld om de aanwezigheid van goed opgeleide mensen, bij de interne factoren kun je denken aan de winstgevendheid van het bedrijf en de kwaliteit van de dienstverlening. Vervolgens wordt vermeld dat er gegevens zijn verzameld over 60 bedrijven (20 grote en 40 middelgrote) die allemaal in verschillende mate strategische analyses toepassen. Van deze bedrijven beschikken ze over informatie over input- en outputfactoren en de locatie van de bedrijven (in Nederland). De locatie is uiteraard objectief vast te stellen, maar dat geldt minder voor de input- en outputfactoren. Het lijkt er op dat de informatie hierover uit de interviews met leidinggevenden van de bedrijven wordt verkregen. Volgens het artikel worden deze factoren via een statistische techniek tot een beperkt aantal terug gebracht.
Met de overgebleven gegevens wordt daarna de relatieve prestaties van de bedrijven gemeten door Data Envelopment Analysis (DEA). Deze methode komt er op neer dat nagegaan wordt wie het meeste produceert bij bepaalde combinaties van inputs. Meer dan de helft van de bedrijven blijkt maximaal efficiënt te zijn: bij deze bedrijven geldt dat er geen enkel andere bedrijf is dat met dezelfde hoeveelheid inputs beter zou kunnen presteren. Omdat dit resultaat niet erg onderscheidend wordt gevonden, gaan de auteurs er vervolgens toe over de efficiënte bedrijven nog nader onder te verdelen in ‘exceptionele bedrijven’ en de ‘creatieve kampioenen’. De exceptionele bedrijven blijken vaker strategische analyses van hun eigen prestaties te maken. Statistische toetsen blijken dit resultaat te bevestigen.
Beoordeling
Is het zinvol om, als K&N (2013), te willen aantonen dat bedrijven in de creatieve sector met een strategie beter presteren dan bedrijven zonder strategie? Dat is een kwestie van smaak, maar stel dat de hypothese bevestigd wordt, betekent dat dan dat bedrijven maar beter met strategische plannen kunnen komen omdat ze het dan beter gaan doen? Niet noodzakelijk, het zou kunnen dat bedrijven die goed presteren hun zaakjes goed op orde hebben en daarom ook een strategisch plan in de kast hebben liggen. Misschien doen ze er wel niks mee in het dagelijkse opereren. Strategie voor de sier. Bedrijven die hun zaken niet op orde hebben, hebben helemaal geen tijd om zich met een luxe-activiteit als strategieformulering bezig te houden. Een strategie als versiering, het zou mij op zich niet verbazen als het zo werkt.
Er zijn studies genoeg die laten zien dat strategie nauwelijks invloed hebben op het bedrijfsresultaat. Geluk of pech is een veel belangrijker determinant voor het succes van een bedrijf dan een wel doordacht lange-termijnplan. Bovendien, als alle bedrijven die elkaar beconcurreren een perfecte strategie hebben, zullen er toch een paar het loodje moeten leggen, want zo werkt concurrentie nu eenmaal: alleen de sterkste of de gelukkigste bedrijven blijven over.
Strategie lijkt me dus uiteindelijk niet zo’n belangrijke verklaring voor het succes van bedrijven. Laten we er echter, ter wille van K&N, van uitgaan dat de hypothese over strategievorming zinvol is. Hebben K&N dan de juiste onderzoektactiek gekozen? Een heel vreemde keuze van K&N is dat ze alleen maar bedrijven in de beschouwing hebben betrokken die een strategie geformuleerd hebben. Dat is curieus, want om te weten of strategievorming effectief is, moet je ook bedrijven meenemen die helemaal niets hebben met strategische plannen. Maar er is hier nog een ander probleem. K&N konden alleen iets te weten komen over strategie door het aan de bedrijven zelf te vragen. De auteurs vroegen of de bedrijven het voordeel inzagen van het formuleren van een strategie. De bedrijven konden dan antwoorden op een vijfpuntsschaal van 1 (helemaal geen voordeel) tot 5 (heel groot voordeel). Het meten van een ‘exogene’ variabele door betrokkenen naar hun perceptie te vragen leidt tot allerlei problemen. Het belangrijkste probleem is hier dat de meting van de variabele niet als onafhankelijk van de prestaties van het bedrijf kan worden beschouwd, maar K&N doen dat wel. Dan kan die variabele ook niet als een verklaring voor de prestaties van het bedrijf worden gebruikt, want dan kom je in een kip-ei probleem terecht.
Hoe zit het dan met de andere variabelen, met name de input- en de outputvariabelen, hoe worden die gemeten? De lezer komt het niet te weten. Er wordt wel een hele opsomming gegeven van variabelen die bepalend zijn voor de prestaties van het bedrijf, maar of die variabelen op een of andere manier gemeten kunnen worden, weten we niet. Er wordt ook geen enkele informatie gegeven over eventuele metingen. We moeten maar aannemen dat de auteurs werkelijk iets gemeten hebben, maar controleren kan de lezer dat niet. Er wordt niet eens een tabel getoond met wat gemiddelde waarden van de relevante variabelen.
Met de gegevens over inputs en outputs (waar de lezer dus niets van weet) wordt dan de efficiëntie van bedrijven gemeten, met behulp van de Data Envelopment Analysis (DEA). DEA komt er op neer dat je nagaat wie het meeste produceert bij bepaalde combinaties van inputs. Je krijgt dan zoiets als in het plaatje. De bedrijven A, B, C en D maken het beste gebruik van hun inputs. Deze methode kan alleen toegepast worden onder bepaalde restrictieve voorwaarden: de bedrijven moeten voldoende homogeen zijn (op elkaar lijken), ze moeten dezelfde soort inputs gebruiken en dezelfde soort outputs afleveren. Bovendien, daar hier sprake is van meerdere inputs en outputs, gaat het om combinaties van inputs en outputs. Op een of andere manier zijn er gewichten nodig om inputs en outputs te kunnen optellen. Om die gewichten te bepalen moeten aannames gemaakt worden over de vorm van het productieproces. Daar is misschien wel uit te komen, maar K&N melden helemaal niets over al deze aannames. Zij doen net alsof er geen vuiltje aan de lucht is en DEA zo maar kan worden toegepast. Voor de lezer is dat zeer onbevredigend. De lezer weet niets van de data die worden gebruikt en weet ook niet welke aannames K&N maken bij het toepassen van DEA. We moeten maar aannemen dat de gevonden resultaten ergens op gebaseerd zijn.
K&N vinden dat meer dan de helft van de bedrijven efficiënt zijn. Dat wil zeggen, die bedrijven halen het maximale uit de middelen (inputs) die ze tot hun beschikking hebben. Het is niet onmogelijk dat zo veel bedrijven het zo goed doen. Maar dit resultaat zou ook kunnen volgen omdat de bedrijven te weinig op elkaar lijken. In dat geval liggen de waarnemingen over de inputs en de outputs van de bedrijven zo ver van elkaar, dat ze niet meer met elkaar vergeleken kunnen worden. Ieder bedrijf is dan in feite zijn eigen unieke universum en dus per definitie efficiënt. Of dit de verklaring is voor dit resultaat valt overigens niet na te gaan, want er wordt, zoals we al zeiden, geen enkele informatie over de beschikbare data gegeven. De auteurs zijn vervolgens niet tevreden met zo veel efficiënte bedrijven en onderscheiden daarom nog een categorie van superefficiënte ‘exceptionele bedrijven’. Hoe dat gedaan wordt, wordt summier en verwarrend uitgelegd. Het doet er niet zo veel toe, want de kritiek uit de vorige paragraaf is ook op deze analyse van toepassing.
Tenslotte wordt met behulp van een model met ‘structurele vergelijkingen’ statistisch getoetst of de prestaties van bedrijven inderdaad afhangen van de mate waarin strategische overwegingen bij het dagelijkse functioneren worden toegepast. Dat betekent dat met behulp van statistische methoden de te verklaren variabele, in dit geval de prestaties van bedrijven, wordt gekoppeld aan variabelen die voor de prestaties bepalend zijn. Dergelijke statistische analyses kunnen alleen toegepast worden onder een aantal strikte voorwaarden. Eén daarvan is dat de verklarende variabelen onafhankelijk zijn van de variabele die verklaard moet worden. We hebben al gezien dat dit niet noodzakelijk het geval is, gezien de manier waarop informatie is verkregen over de belangrijkste variabele in dit verhaal, namelijk of bedrijven gebruik maken van strategische analyses. Door dat aan bedrijven zelf te vragen of ze dat doen, kan er een omgekeerde relatie ontstaan. Een bedrijf dat het heel goed doet, zal kunnen zeggen dat ze strategische analyses toepast zonder dat werkelijk te doen, maar het toont dan aan hoe ‘diep’ zij in de markt kunnen kijken. Bedrijven die het wat minder goed doen, zullen een neiging hebben juist niet te zeggen dat zij een strategische visie hebben. Die visie blijkt dan wel erg fout te zijn. Kortom, de relatie is niet van strategievorming naar de prestaties van het bedrijf, maar het is juist andersom. Bedrijven die het goed doen, gaan prat op hun mooie strategische plannen en bedrijven die het niet goed doen, gaan er niet prat op. Dit is het bekende endogeniteitsprobleem, maar de auteurs vermelden dit probleem niet. Zij zijn er juist erg trots op dat ze de omgekeerde relatie (het effect van strategie op prestatie) kunnen toetsen. Ze beroemen zich er op dat zij de eersten zijn die dit doen. Eerlijk gezegd hoop ik dat zij ook de laatsten zijn die het zo doen.
Helaas, zijn er nog veel meer problemen met de statistische toetsing van K&N. Dat heeft te maken met hoe de gegevens eruit zien. Als je gegevens hebt met een vijfpuntsschaal, zoals dat het geval is bij K&N, moet je die anders behandelen dan gegevens die in beginsel alle waarden kunnen aannemen. Bovendien moeten de gegevens over de prestaties, zoals dat heet, een ‘normale’ verdeling hebben. Dat wil zeggen dat er ten opzichte van het gemiddelde ongeveer evenveel plussen als minnen moeten zijn. Ook moet bijvoorbeeld het aantal waarnemingen groot genoeg zijn. Aan deze twee voorwaarden lijkt zeker niet voldaan te zijn, maar we horen er vrijwel niets over. Wel wordt vermeld dat de acht verklarende ‘kapitaalvariabelen’ gecombineerd worden tot drie variabelen.
Daarna krijgen we als resultaat te zien dat er een positieve relatie is tussen de mate waarin men strategische analyses toepast en het bedrijfsresultaat. Het toepassen van een strategische analyse is typisch een lange-termijn verschijnsel: een bedrijf wil iets bereiken en zal daar de tijd voor (moeten) nemen. Misschien dat na een aantal jaren het (of een) doel bereikt wordt. Je zou dus moeten weten hoe de prestaties van een bedrijf zich in de loop der tijd ontwikkelen. K&N hebben echter alleen gegevens over een bepaald jaar. In dat jaar zijn misschien sommige bedrijven net begonnen, andere bedrijven zijn al dan niet op weg naar de top, en weer andere bedrijven zijn aan de top, of staan wellicht op het punt failliet te gaan. De waarnemingen waarover de auteurs beschikken kunnen dus betrekking hebben op verschillende stadia in de ontwikkeling van bedrijven. In hoeverre dat het geval is weet de lezer niet, want het wordt hem/haar niet verteld. K&N gooien echter wel alle bedrijven op één hoop, daarmee suggererend dat ze vergelijkbaar zijn, dat wil zeggen dat alle bedrijven zich in hetzelfde stadium van hun ontwikkeling bevinden. Het zou kunnen, maar het zou wel zeer toevallig zijn. Kortom, ik zou een heel groot kruis zetten door figuur 8 uit het artikel dat de basisresultaten van K&N samenvat.
Artikel II. Over de (positieve) effecten van migratie
Samenvatting
Dit artikel van K&N begint met de opmerking dat de positieve effecten van immigratie vaker onderzocht zouden moeten worden. Dat is bijna een politiek statement, omdat het suggereert dat de negatieve effecten te veel belicht worden. Inderdaad de auteurs steken hun uitgangspunt niet onder stoelen of banken dat “migranten een bron voor creatieve mogelijkheden vormen voor de lokale economie” (t.a.p., p. 168, mijn vertaling). Er zijn weliswaar ook negatieve effecten, maar de auteurs trekken uit “een uitgebreide literatuur” de conclusie dat de positieve effecten per saldo domineren. Bovendien zijn de negatieve effecten alleen maar van tijdelijke aard. Vervolgens zeggen K&N ‘strategische keuzeanalyse’ te gaan toepassen om “het socio-economisch belang van migratie voor de maatschappij, nationaal of lokaal, te analyseren” (p.171). Voor het analyseren van de effecten van migratie worden eerst vijf socio-economische grootheden (arbeidsmarkt, economische ontwikkeling, externe effecten, culturele diversiteit, publieke sector) geïdentificeerd. Bij ieder van die grootheden wordt een lijst van subvariabelen gemaakt, die een kracht of een zwakte, dan wel een kans of een bedreiging voorstellen, en er wordt een indicatie van de effecten en de gewichten van die subvariabelen gegeven. K&N beweren dat die ‘effecten en gewichten’ uit “previous studies” zijn afgeleid. Daarna volgt per socio-economische grootheid een korte bespreking van de mogelijke effecten van migratie en zij concluderen dat “dit alles een zeer positief effect van migratie schildert” (p. 178). Desondanks, zo zeggen K&N, als bestuurders berekenen welke maatregelen te nemen ten aanzien van specifieke etnische groepen, zij de neiging hebben “kortzichtig” te zijn aangezien zij toekomstige opbrengsten, die de initiële kosten kunnen compenseren, negeren.
Vervolgens worden per socio-economische grootheid door K&N scores toegekend aan de diverse zwakte- en sterktevariabelen en de kansen en bedreigingen. Die zijn bepaald door aan 13 ‘deskundigen’ te vragen welke van deze variabelen zij het belangrijkste vinden als het gaat om de effecten van migratie. Van de gevonden ‘waarden’ worden dan plaatjes gemaakt waaruit de lezer kan zien wat de deskundigen belangrijk vinden. Bij deze plaatjes plaatsen de auteurs algemene opmerkingen in de trant van: “het stimuleren van diversiteit van migratiestromen (…) levert een positieve bijdrage aan de overheidsfinanciën (…) van de ontvangende regio’s en landen” (p.191).
Beoordeling
In feite doen de auteurs twee analyses met de naar hun idee belangrijkste socio-economische grootheden die door migratie worden beïnvloed. Eerst geven zij ‘kwalitatieve’ gewichten aan deelvariabelen die samenhangen met die grootheden. Vervolgens vullen ze die zelfde variabelen ‘kwantitatief’ in met meningen van deskundigen. Wat die eerste analyse betreft, het is niet duidelijk hoe ze aan hun kwalitatieve inschattingen komen. Het is evenmin na te gaan hoe ze uit deze inschattingen conclusies kunnen trekken, en nog minder waarom die conclusie vrijwel allemaal sterk positief gekleurd zijn. Dezelfde opmerkingen kunnen gemaakt worden bij de ‘kwantitatieve’ analyse. Die analyse zelf is op een ridicule wijze in elkaar gezet. De meningen van 13 experts blijken doorslag gevend. Wie deze 13 experts zijn, wordt niet vermeld. We weten dus niet welke waarde wij aan hun oordeel moeten hechten, of hun oordeel overeen komt met empirische schattingen, waarom zij maar één subgrootheid als belangrijk mochten aanwijzen, waarom niet ook honderden andere ‘deskundigen’ zijn aangeschreven, enzovoorts. Het valt, kortom, niet serieus te nemen dat het oordeel van 13 willekeurige deskundigen over een ook al willekeurig in elkaar gezette lijst van variabelen bepalend zou kunnen zijn voor zowel de wereldwijde effecten van immigratie als de wenselijke beleidsreacties.
Na dit artikel doorgeworsteld te hebben is maar één conclusie mogelijk. De auteurs willen graag uit hun onderzoek positieve conclusies trekken over de effecten van migratie. Ze doen dat dan ook voortdurend, maar meestal komen de gevolgtrekkingen uit de lucht vallen en hebben nauwelijks enige band met de ‘data’. Die data zijn eigenlijk ook geen data, maar een paar kruisjes die door 13 mensen in een matrix zijn gezet. De hele exercitie heeft weinig met wetenschappelijk onderzoek te maken, maar wel heel veel met wishful thinking.
Artikel III. Over allochtone ondernemers
Samenvatting
Uit het vorige besproken artikel van K&N bleek dat zij migratie zien als een positief verschijnsel. Het ligt daarom voor de hand dat ze ook vinden dat allochtone ondernemers een positieve bijdrage leveren aan de economie. De titel van het hier te bespreken artikel suggereert dit inderdaad. Allochtone ondernemers blijken, volgens de auteurs in hun inleiding, over uitstekende ondernemersvaardigheden te beschikken en zijn daarom verantwoordelijk voor een bloeiende MKB-sector in vele steden (p.377). Iets verderop (p. 379) schrijven de auteurs dat creatief ondernemerschap onder migranten een van de meest uitdagende en snelst stijgende sectoren onder migranten is en dat dit bijdraagt aan culturele integratie en diversiteit onder ondernemers in moderne steden. Het gaat hier vooral om de jongere generatie die “meer open is en op zoek naar nieuwe kansen buiten de traditionele sectoren” (t.a.p., p. 382).
Dit zijn zware claims, hoe worden die waar gemaakt? Door een vragenlijst af te nemen van een “tamelijk representatieve” steekproef van 24 ondernemers van Marokkaanse origine (p. 384) werkzaam in de professionele dienstverlening (zoals ICT en consultancy). Van deze 24 ondernemers wordt vervolgens getoond wat zij geantwoord hebben op de verschillende vragen. Zo boekt 2/3 van de ondernemingen winst in het afgelopen jaar en hebben ze het meest Nederlanders als klant. Verder blijken de meesten, namelijk 71% van de ondervraagden, als werknemer in dezelfde sector gewerkt te hebben voor ze zelfstandig werden. Factoren als de laatste worden ‘motieven en drijvende krachten (laten we afkorten tot MOK)’ genoemd. Daarbij horen ook waar men zijn/haar kapitaal voor de onderneming vandaan heeft, of men een ondernemingsplan heeft, en dergelijke. Tenslotte maken de auteurs een ‘structureel relationeel model’ dat statistisch wordt geschat. Daarbij zijn de MOK een van de ‘verklarende variabelen’ voor de prestaties van het bedrijf en deze blijken een positief effect te hebben. Dus, hoe meer (of hoe beter, dat is niet duidelijk) de MOK des te hoger de prestaties van het bedrijf. De auteurs eindigen hun paper met wat ze in de inleiding al aankondigden, namelijk “de algemene resultaten van onze studie laten zien dat de jongere generatie van Marokkaanse ondernemers meer open is en op zoek naar nieuwe kansen (opportunities) buiten de traditionele markten. (t.a.p., p. 398).” Wel wordt aangetekend dat de steekproef tamelijk klein is en er maar naar één punt in de tijd wordt gekeken.
Beoordeling
Dat de steekproef die K&N gebruiken wat klein is, is een understatement. Als we 24 Marokkaanse ondernemers ondervragen waarvan er slechts één verlies lijdt, hoe kunnen we dan een algemene conclusie trekken over ‘succesfactoren’ door middel van regressieanalyse? Je hoeft geen doorgewinterd statisticus te zijn om te kunnen concluderen dat met zo weinig waarnemingen de variatie in de variabelen niet voldoende kan zijn voor significante resultaten. Bovendien bestaan de variabelen die meegenomen worden in de regressie (namelijk de antwoorden van de ondernemers op de vragen die de auteurs hen gesteld hebben) uit meerdere dimensies. De variabele ‘motieven en drijvende krachten (MOK)’, bijvoorbeeld bestaat uit: de bron voor hun kapitaal, of ze een ondernemingsplan hebben, of ze eerder in dezelfde sector gewerkt hebben, waar ze hun informatie over de markt vandaan halen en wat ze voorheen deden. Die verschillende factoren worden (kennelijk) tot één variabele gereduceerd, maar op welke manier dat wordt gedaan, wordt niet onthuld. Hetzelfde geldt voor de prestaties van de onderneming. Desondanks krijgen Kourtit en Nijkamp significante uitkomsten. Ze blijken zelfs in staat om meerdere causale verbanden op het spoor te komen. Hoe dat kan is raadselachtig. In ieder geval kan op basis van de 24 waarnemingen waarover de auteurs beschikken niet geconcludeerd worden dat allochtone ondernemers “meer open” zijn of voortdurend op zoek naar “nieuwe kansen”. De conclusie die ik na lezing uit dit artikel kan trekken is: succesvolle Marokkaanse ondernemers zijn succesvol. De redactie van het tijdschrift waar dit artikel in is gepubliceerd, las er kennelijk meer in.
Conclusie
Na lezing van deze drie artikelen van Peter Nijkamp met zijn promovenda Akrima Kourtit resteren er alleen maar vragen. Waarom zijn deze drie artikelen geschreven? Er is zoveel gebrekkig aan deze onderzoeken dat je je afvraagt waarom het K&N ontbrak aan zoveel kritisch vermogen. Nog prangender is de vraag hoe het kan dat deze artikelen gepubliceerd zijn. Een vakblad als Journal of Regional Science heeft toch enige standing, maar is kennelijk toch bereid slechte papers op te nemen. Zijn er geen goede referees? Gaat het blad alleen maar af op reputaties? Of is dit het niveau van het vakgebied regionale economie? En, tenslotte, hoe is Peter Nijkamp aan zijn reputatie gekomen? Heeft hij meer dan veertig jaar lang dit soort slechte wetenschap geproduceerd? Deze laatste vraag wil ik liever maar niet beantwoorden.
0 reacties