Category Archives: incentives

Tools for the Evaluation of the Quality of Experimental Research

pdf of this post

Experiments can have important advantages above other research designs. The most important advantage of experiments concerns internal validity. Random assignment to treatment reduces the attribution problem and increases the possibilities for causal inference. An additional advantage is that control over participants reduces heterogeneity of treatment effects observed.

The extent to which these advantages are realized in the data depends on the design and execution of the experiment. Experiments have a higher quality if the sample size is larger, the theoretical concepts are more reliably measured, and have a higher validity. The sufficiency of the sample size can be checked with a power analysis. For most effect sizes in the social sciences, which are small (d = 0.2), a sample of 1300 participants is required to detect it at conventional significance levels (p < .05) and 95% power (see appendix). Also for a stronger effect size (0.4) more than 300 participants are required. The reliability of normative scale measures can be judged with Cronbach’s alpha. A rule of thumb for unidimensional scales is that alpha should be at least .63 for a scale consisting of 4 items, .68 for 5 items, .72 for 6 items, .75 for 7 items, and so on. The validity of measures should be justified theoretically and can be checked with a manipulation check, which should reveal a sizeable and significant association with the treatment variables.

The advantages of experiments are reduced if assignment to treatment is non-random and treatment effects are confounded. In addition, a variety of other problems may endanger internal validity. Shadish, Cook & Campbell (2002) provide a useful list of such problems.

Also it should be noted that experiments can have important disadvantages. The most important disadvantage is that the external validity of the findings is limited to the participants in the setting in which their behavior was observed. This disadvantage can be avoided by creating more realistic decision situations, for instance in natural field experiments, and by recruiting (non-‘WEIRD’) samples of participants that are more representative of the target population. As Henrich, Heine & Norenzayan (2010) noted, results based on samples of participants in Western, Educated, Industrialized, Rich and Democratic (WEIRD) countries have limited validity in the discovery of universal laws of human cognition, emotion or behavior.

Recently, experimental research paradigms have received fierce criticism. Results of research often cannot be reproduced (Open Science Collaboration, 2015), publication bias is ubiquitous (Ioannidis, 2005). It has become clear that there is a lot of undisclosed flexibility, in all phases of the empirical cycle. While these problems have been discussed widely in communities of researchers conducting experiments, they are by no means limited to one particular methodology or mode of data collection. It is likely that they also occur in communities of researchers using survey or interview data.

In the positivist paradigm that dominates experimental research, the empirical cycle starts with the formulation of a research question. To answer the question, hypotheses are formulated based on established theories and previous research findings. Then the research is designed, data are collected, a predetermined analysis plan is executed, results are interpreted, the research report is written and submitted for peer review. After the usual round(s) of revisions, the findings are incorporated in the body of knowledge.

The validity and reliability of results from experiments can be compromised in two ways. The first is by juggling with the order of phases in the empirical cycle. Researchers can decide to amend their research questions and hypotheses after they have seen the results of their analyses. Kerr (1989) labeled the practice of reformulating hypotheses HARKING: Hypothesizing After Results are Known. Amending hypotheses is not a problem when the goal of the research is to develop theories to be tested later, as in grounded theory or exploratory analyses (e.g., data mining). But in hypothesis-testing research harking is a problem, because it increases the likelihood of publishing false positives. Chance findings are interpreted post hoc as confirmations of hypotheses that a priori  are rather unlikely to be true. When these findings are published, they are unlikely to be reproducible by other researchers, creating research waste, and worse, reducing the reliability of published knowledge.

The second way the validity and reliability of results from experiments can be compromised is by misconduct and sloppy science within various stages of the empirical cycle (Simmons, Nelson & Simonsohn, 2011). The data collection and analysis phase as well as the reporting phase are most vulnerable to distortion by fraud, p-hacking and other questionable research practices (QRPs).

  • In the data collection phase, observations that (if kept) would lead to undesired conclusions or non-significant results can be altered or omitted. Also, fake observations can be added (fabricated).
  • In the analysis of data researchers can try alternative specifications of the variables, scale constructions, and regression models, searching for those that ‘work’ and choosing those that reach the desired conclusion.
  • In the reporting phase, things go wrong when the search for alternative specifications and the sensitivity of the results with respect to decisions in the data analysis phase is not disclosed.
  • In the peer review process, there can be pressure from editors and reviewers to cut reports of non-significant results, or to collect additional data supporting the hypotheses and the significant results reported in the literature.

Results from these forms of QRPs are that null-findings are less likely to be published, and that published research is biased towards positive findings, confirming the hypotheses, published findings are not reproducible, and when a replication attempt is made, published findings are found to be less significant, less often positive, and of a lower effect size (Open Science Collaboration, 2015).

Alarm bells, red flags and other warning signs

Some of the forms of misconduct mentioned above are very difficult to detect for reviewers and editors. When observations are fabricated or omitted from the analysis, only inside information, very sophisticated data detectives and stupidity of the authors can help us. Also many other forms of misconduct are difficult to prove. While smoking guns are rare, we can look for clues. I have developed a checklist of warning signs and good practices that editors and reviewers can use to screen submissions (see below). The checklist uses terminology that is not specific to experiments, but applies to all forms of data. While a high number of warning signs in itself does not prove anything, it should alert reviewers and editors. There is no norm for the number of flags. The table below only mentions the warning signs; the paper version of this blog post also shows a column with the positive poles. Those who would like to count good practices and reward authors for a higher number can count gold stars rather than red flags. The checklist was developed independently of the checklist that Wicherts et al. (2016) recently published.

Warning signs

  • The power of the analysis is too low.
  • The results are too good to be true.
  • All hypotheses are confirmed.
  • P-values are just below critical thresholds (e.g., p<.05)
  • A groundbreaking result is reported but not replicated in another sample.
  • The data and code are not made available upon request.
  • The data are not made available upon article submission.
  • The code is not made available upon article submission.
  • Materials (manipulations, survey questions) are described superficially.
  • Descriptive statistics are not reported.
  • The hypotheses are tested in analyses with covariates and results without covariates are not disclosed.
  • The research is not preregistered.
  • No details of an IRB procedure are given.
  • Participant recruitment procedures are not described.
  • Exact details of time and location of the data collection are not described.
  • A power analysis is lacking.
  • Unusual / non-validated measures are used without justification.
  • Different dependent variables are analyzed in different studies within the same article without justification.
  • Variables are (log)transformed or recoded in unusual categories without justification.
  • Numbers of observations mentioned at different places in the article are inconsistent. Loss or addition of observations is not justified.
  • A one-sided test is reported when a two-sided test would be appropriate.
  • Test-statistics (p-values, F-values) reported are incorrect.

With the increasing number of retractions of articles reporting on experimental research published in scholarly journals the awareness of the fallibility of peer review as a quality control mechanism has increased. Communities of researchers employing experimental designs have formulated solutions to these problems. In the review and publication stage, the following solutions have been proposed.

  • Access to data and code. An increasing number of science funders require grantees to provide open access to the data and the code that they have collected. Likewise, authors are required to provide access to data and code at a growing number of journals, such as Science, Nature, and the American Journal of Political Science. Platforms such as Dataverse, the Open Science Framework and Github facilitate sharing of data and code. Some journals do not require access to data and code, but provide Open Science badges for articles that do provide access.
  • Pledges, such as the ‘21 word solution’, a statement designed by Simmons, Nelson and Simonsohn (2012) that authors can include in their paper to ensure they have not fudged the data: “We report how we determined our sample size, all data exclusions (if any), all manipulations, and all measures in the study.”
  • Full disclosure of methodological details of research submitted for publication, for instance through org is now required by major journals in psychology.
  • Apps such as Statcheck, p-curve, p-checker, and r-index can help editors and reviewers detect fishy business. They also have the potential to improve research hygiene when researchers start using these apps to check their own work before they submit it for review.

As these solutions become more commonly used we should see the quality of research go up. The number of red flags in research should decrease and the number of gold stars should increase. This requires not only that reviewers and editors use the checklist, but most importantly, that also researchers themselves use it.

The solutions above should be supplemented by better research practices before researchers submit their papers for review. In particular, two measures are worth mentioning:

  • Preregistration of research, for instance on org. An increasing number of journals in psychology require research to be preregistered. Some journals guarantee publication of research regardless of its results after a round of peer review of the research design.
  • Increasing the statistical power of research is one of the most promising strategies to increase the quality of experimental research (Bakker, Van Dijk & Wicherts, 2012). In many fields and for many decades, published research has been underpowered, using samples of participants that are not large enough the reported effect sizes. Using larger samples reduces the likelihood of both false positives as well as false negatives.

A variety of institutional designs have been proposed to encourage the use of the solutions mentioned above, including reducing the incentives in careers of researchers and hiring and promotion decisions for using questionable research practices, rewarding researchers for good conduct through badges, the adoption of voluntary codes of conduct, and socialization of students and senior staff through teaching and workshops. Research funders, journals, editors, authors, reviewers, universities, senior researchers and students all have a responsibility in these developments.


Bakker, M., Van Dijk, A. & Wicherts, J. (2012). The Rules of the Game Called Psychological Science. Perspectives on Psychological Science, 7(6): 543–554.

Henrich, J., Heine, S.J., & Norenzayan, A. (2010). The weirdest people in the world? Behavioral and Brain Sciences, 33: 61 – 135.

Ioannidis, J.P.A. (2005). Why Most Published Research Findings Are False. PLoS Medicine, 2(8): e124.

Kerr, N.L. (1989). HARKing: Hypothesizing After Results are Known. Personality and Social Psychology Review, 2: 196-217.

Open Science Collaboration (2015). Estimating the Reproducibility of Psychological Science. Science, 349.

Shadish, W.R., Cook, T.D., & Campbell, D.T. (2002). Experimental and quasi-experimental designs for generalized causal inference. Boston, MA: Houghton Mifflin.

Simmons, J.P., Nelson, L.D., & Simonsohn, U. (2011). False positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22: 1359–1366.

Simmons, J.P., Nelson, L.D. & Simonsohn, U. (2012). A 21 Word Solution. Available at SSRN:

Wicherts, J.M., Veldkamp, C.L., Augusteijn, H.E., Bakker, M., Van Aert, R.C & Van Assen, M.L.A.M. (2016). Researcher degrees of freedom in planning, running, analyzing, and reporting psychological studies: A checklist to avoid p-hacking. Frontiers of Psychology, 7: 1832.

1 Comment

Filed under academic misconduct, experiments, fraud, incentives, open science, psychology, survey research

Four Reasons Why We Are Converting to Open Science

The Center for Philanthropic Studies I am leading at VU Amsterdam is converting to Open Science.

Open Science offers four advantages to the scientific community, nonprofit organizations, and the public at large:

  1. Access: we make our work more easily accessible for everyone. Our research serves public goods, which are served best by open access.
  2. Efficiency: we make it easier for others to build on our work, which saves time.
  3. Quality: we enable others to check our work, find flaws and improve it.
  4. Innovation: ultimately, open science facilitates the production of knowledge.

What does the change mean in practice?

First, the source of funding for contract research we conduct will always be disclosed.

Second, data collection – interviews, surveys, experiments – will follow a prespecified protocol. This includes the number of observations forseen, the questions to be asked, measures to be included, hypotheses to be tested, and analyses to be conducted. New studies will be preferably be preregistered.

Third, data collected and the code used to conduct the analyses will be made public, through the Open Science Framework for instance. Obviously, personal or sensitive data will not be made public.

Fourth, results of research will preferably be published in open access mode. This does not mean that we will publish only in Open Access journals. Research reports and papers for academic will be made available online in working paper archives, as a ‘preprint’ version, or in other ways.


December 16, 2015 update:

A fifth reason, following directly from #1 and #2, is that open science reduces the costs of science for society.

See this previous post for links to our data and questionnaires.


Leave a comment

Filed under academic misconduct, Center for Philanthropic Studies, contract research, data, fraud, incentives, methodology, open science, regulation, survey research

Een gedragscode voor werving nalatenschappen door goede doelen

In 1Vandaag zei ik op 19 februari dat er in Nederland geen gedragscode voor de werving van nalatenschappen bestaat. Dit blijkt niet waar, er is wel degelijk een richtlijn voor nalatenschappenwerving. In de regels van het Centraal Bureau Fondsenwerving voor het CBF-Keur en op de website van de VFI (Vereniging voor Fondsenwervende Instellingen), branchevereniging voor goede doelen, is deze richtlijn echter niet te vinden. De VFI heeft wel een richtlijn voor de afwikkeling van nalatenschappen. Maar die gaat over de afwikkeling, als het geld al binnen is. Niet over de werving van nalatenschappen.

Het blijkt dat de richtlijn voor de werving van nalatenschappen is gepubliceerd door een derde organisatie, het Instituut Fondsenwerving. Deze organisatie heeft in 2012 een richtlijn opgesteld voor fondsenwervende instellingen die nalatenschappen werven. De richtlijn is niet verplichtend. Het Instituut Fondsenwerving heeft ook een gedragscode waar haar leden zich aan hebben te houden, maar de richtlijn voor nalatenschappen heeft niet de status van gedragscode. Bij het Instituut Fondsenwerving zijn volgens de ledenlijst 231 goede doelen organisaties aangesloten (klik hier voor een overzicht in Excel). Het Leger des Heils is lid van het IF, maar de Zonnebloem niet. Ook andere grote ontvangers van nalatenschappen, zoals KWF Kankerbestrijding, ontbreken op de ledenlijst. Zij zijn wel lid van de VFI, dat 113 leden en 11 aspirant leden telt.

De VFI reageerde op de uitzending via haar website en vermeldde de richtlijn van het Instituut Fondsenwerving. De status van de richtlijn is in de reactie opgehoogd naar een gedragscode. Dit zou betekenen dat leden die zich niet aan de richtlijn houden, kunnen worden geroyeerd. Gosse Bosma, directeur van de VFI, zei overigens in de 1Vandaag uitzending dat de VFI niet is nagegaan of de betrokken leden zich aan de richtlijn hebben gehouden en dat ook niet nodig te vinden. Het IF zelf heeft niet gereageerd. Ook de ontvangende goede doelen, de Zonnebloem en het Leger des Heils, reageerden deze week via het vaktijdschrift voor de filantropie, Filanthropium. Zij verklaarden zich bereid onrechtmatigheden te corrigeren. Wordt ongetwijfeld vervolgd in de volgende fase van deze zaak, of wanneer een nieuwe zaak zich aandient.


Leave a comment

Filed under bequests, charitable organizations, fundraising, incentives, law, philanthropy, regulation

Wat zegt het CBF-Keur voor goede doelen?

Het Financieel Dagblad besteedt een lang artikel aan de betekenis van het CBF-Keur voor goede doelen naar aanleiding van de vraag: “Waar blijft mijn gedoneerde euro?” Het “keurmerk en boekhoudregels zijn geen garantie voor een zinvolle besteding”, volgens de krant. Verderop in het artikel staat mijn naam genoemd bij de stelling dat het CBF-Keur ‘fraude of veel te hoge kosten niet uitsluit’ en zelfs dat het ‘nietszeggend’ zou zijn. Inderdaad zegt het feit dat een goed doel over het CBF-Keur beschikt niet dat de organisatie perfect werkt. Het maakt fraude niet onmogelijk en dwingt organisaties ook niet altijd tot de meest efficiënte besteding van beschikbare middelen. In het verleden zijn misstanden bij verschillende CBF-Keurmerkhouders in het nieuws gekomen, die bij sommige organisaties hebben geleid tot intrekking van het keurmerk.

Maar helemaal ‘nietszeggend’ is het CBF-Keur ook weer niet. Zo denk ik er ook niet over. Het CBF-Keur zegt wel degelijk wat. Voordat een organisatie het CBF-Keur mag voeren moet het een uitgebreide procedure door om aan eisen te voldoen aan financiële verslaggeving, onafhankelijkheid van het bestuur, kosten van fondsenwerving, en de formulering van beleidsplannen. Dit zijn relevante criteria. Zij zorgen ervoor dat je als donateur erop kunt vertrouwen dat de organisatie op een professionele manier werkt. Het CBF-Keur zegt alleen niet zoveel over de efficiëntie van de bestedingen van een goed doel. Veel mensen denken dat wel, zo constateerden we in onderzoek uit 2009.

Het is lastige materie. Garantie krijg je op een product dat je koopt in de winkel, waardoor je het terug kunt brengen als het niet functioneert of binnen korte tijd stuk gaat. Zulke garanties zijn moeilijk te geven voor giften aan goede doelen. Een dergelijke garantie zou je alleen kunnen geven als de kwaliteit van het werk van goede doelenorganisaties gecontroleerd kan worden en er een minimumeis voor te formuleren valt. Dat lijkt mij onmogelijk. Het CBF-Keur is niet zoiets als een rijbewijs dat je moet hebben voordat je een auto mag besturen. De markt voor goede doelen is vrij toegankelijk; iedereen mag de weg op. Sommige goede doelen hebben een keurmerk, maar dat zegt vooral hoeveel ze betaald hebben voor de benzine, in wat voor auto ze rijden en wie er achter het stuur zit. Het zegt nog niet zoveel over de hoeveelheid ongelukken die ze ooit hebben mee gemaakt of veroorzaakt, en of dat de kortste of de snelste weg is.

Vorig jaar stelde de commissie-De Jong voor om een autoriteit filantropie in te stellen, die organisaties zou gaan controleren voordat ze de markt voor goede doelen op mogen. Er zou een goede doelen politie komen die ook op de naleving van de regels mag controleren en boetes mag uitdelen. Dat voorstel was te duur voor de overheid. Voor de goede doelen was het onaantrekkelijk omdat zij aan nieuwe regels zouden moeten gaan voldoen. Bovendien was het niet duidelijk of die nieuwe regels ook echt het aantal ongelukken zou verlagen. Het is op dit moment überhaupt niet duidelijk hoe goed de bestuurders van goede doelen de weg kennen en hoeveel ongelukken ze maken. Een beter systeem zou moeten beginnen met een meting van het aantal overtredingen in het goede doelen verkeer en een telling van het aantal bestuurders met en zonder rijbewijs. Vervolgens zou het goed zijn om een rijopleiding op te zetten die iedereen die de markt op wil kan volgen en in staat stelt de vaardigheden op te doen waarover elke bestuurder moet beschikken. Ik hoop dat het artikel in het Financieel Dagblad tot een discussie leidt die dit duidelijk maakt.

Intussen heeft het CBF gereageerd met de verzekering dat er gewerkt wordt aan uitwerking van richtlijnen voor ‘reactief toezicht op prestaties’. Ook de VFI, branchevereniging voor goede doelen, kwam met een reactie van die strekking. Dat is goed nieuws. Maar die nieuwe richtlijnen zijn er nog lang niet. In de tussentijd geeft het CBF keurmerken af en publiceren de Nederlandse media – die na Finland de meest vrije ter wereld zijn – af en toe een flitspaalfoto van wegmisbruikers. Dat lijkt voldoende te zijn om het goede doelen verkeer zichzelf te laten regelen en de ergste ongelukken te voorkomen. Want die zijn er maar weinig.

Leave a comment

Filed under charitable organizations, fraud, household giving, impact, incentives, law, philanthropy, policy evaluation, politics

Conditional Review Acceptance Policy

Here’s CRAP: a new policy regarding review requests I’ve decided to try out. CRAP means Conditional Review Acceptance Policy, the new default response to review requests. I will perform review only if the journal agrees to publish the article in a Free Open Access mode – making the article publicly available, without charging any fees for it from universities, authors, or readers.

Here’s the story behind CRAP. If you’re an academic, you will recognize the pattern: you get an ‘invitation’ or a ‘request’ to review a paper submitted to the journal because ‘you have been identified as an expert on the topic’. If you’re serious about the job, you easily spend half a day reading the article, thinking about the innovations in the research questions, the consistency of the hypotheses, wondering why previous research was ignored, vetting the reliability and the validity of the data and methods used, checking the tables, leaving aside the errors in references which the author copied from a previously published article. As a reviewer accepting the task to review a paper you sometimes get a 25% discount on the hugely overpriced books by the publisher or access to journal articles which your university library already paid for.

You accept the invitation because you know the editor personally, you want to help improve science, want to facilitate progress in the field, because by refusing you will miss an opportunity to influence the direction your field is taking or simply to block rubbish from being published. *Or, if you have less laudable objectives, because you want others to know and cite your work. I confess I have fallen prey to this temptation myself.* But it does not end after the job is done. There’s a good chance you will get the article back after the authors revised it, and you are invited again to check whether the authors have done a good job incorporating your comments. In the mean time, you’ve received seven more review requests. I could fill my entire week reviewing papers if I accepted all invitations I receive.

In the world outside academia complying with a request means doing people a favor, which at some point in the future you can count on to be returned. Not so in academia. The favors that we academics are doing are used by publishers to make profit, by selling the journals we work for as unpaid volunteers to university libraries. The journal prices that publishers are ridiculously high but libraries have no choice but to accept them because they cannnot afford to miss the journal in its collection. And ultimately we keep up the system by continuing to accept review requests. Academic publishers exploit scholars asking for reviews and giving nothing in return.

If you’re not an academic you may find this all very strange. When I told my parents in 2003 that my first article was accepted for an international journal they asked: “How much did they pay you for the article?” Journalists and free lance writers for magazines may get paid for the content they are producing, but not academics. The content we hope to help produce as reviewers is a public good: valid and reliable knowledge. Falsity should be avoided at all cost; the truth, the truth, and nothing but the truth should be published. The production of this public good is facilitated by public money. But the reviews we provide are not public goods. They are private goods. They are typically anonymous, and not shared publicly. We send them to the editorial assistant, who sends them to the authors (and sometimes, ‘as a courtesy’, to the other volunteer reviewers). The final product is again a private good, sold by the publisher. Collectively, our favors are creating a public bad: increasing costs for journal subscriptions.

What can we do about this? Should the volunteer work we do be monetized? Should we go on strike to ask for an adequate wage? According to the profitability of the journal perhaps? So that the higher the profit the publisher makes on a journal, the higher the compensation for reviewers? This would do nothing to reduce the public bad. Instead, I think we should move into Free Open Access publishing. The public nature of knowledge, the production of which is made possible by public funding, should be accessible for the public. It is fair that some compensation is given to the journal’s publisher for the costs they will have to incur to copy-edit the article and to host the electronic manuscript submission system. These costs are relatively low. I am leaving the number crunching for some other time or some other geek, but my hunch is that if we would monetize our volunteer work as reviewers this would be enough to pay for the publication of one article.

Academic publishers are not stupid. They see the push towards open access coming, and are now actively offering open access publication in their journals. But everything comes at a price. So they are charging authors (i.e., authors’ funders) fees for open access publication, ranging from several hundred to thousands of dollars. Obviously, this business model is quite profitable – otherwise commercial publishers would not adopt it. Thugs and thieves are abusing the fee-based open access model by creating worthless journals that will publish any article, cashing the fees and to make a profit. The more respectable publishers are now negotiating with universities and public funders of science about a better model, circumventing the authors. Undoubtedly the starting point for such a model is that the academic publication industry remains profitable. In all of this, the volunteer work of reviewers is still the backbone of high quality journal publications. And it is still not compensated.

So my plea to fellow academics is simple. We should give CRAP as our new default response. Agree to review if the publisher agrees to publish the article in Free Open Access. It may be the only way to force Free Open Access into existence. I will keep you updated on the score.

Update: 14 October 2014
Invited: 8
Response: 4 Declined (Journal of Personality and Social Psychology, Sociology of Religion, Nonprofit and Voluntary Sector Quarterly, Science and Public Policy; Qualitative Sociology); 1 offered Green Access (Public Management Review); 2 responded review was no longer needed (Journal for the Scientific Study of Religion and Body & Society).

One managing editor wrote: “Thank you for offering to review this manuscript. Unfortunately, our publisher has not yet approved free Open Source. Those of us who actually work for the journal instead of the publishing institution would gladly provide open access to articles if it was up to us. These kinds of decisions are not left up to our discretion however. I greatly respect your stance and hope it is one that will eventually lead to greater access to academic publications in the future.”

In a message titled “Your assignment”, the associate editor of JPSP wrote:  “I appreciate your willingness to review manuscript #[omitted] for Journal of Personality and Social Psychology:  Personality Processes and Individual Differences. As it turns out, your review will not be needed for me to make a decision, so please do not complete your review. ”

The message from the editor of Sociology of Religion, probably composed by an Oxford University Press employee, says: “Sociology of Religion does not have an author-pays Open Access option in place, which would require the author or the body that funded the research to pay an Author Processing Charge—there is a range of APCs, beginning at $1,800. This is the only system currently in place at Oxford University Press for optional Open Access (some journals, of course, are entirely Open Access by design, generally with significant society sponsorship). The request and APC would need to come from the author, not the manuscript reviewer. Moreover, if an author requires OA to comply with requirements from his or her funding body, then the author submits it to a journal that has a OA option. Also, all authors of published articles are given a toll-free URL to post wherever they like—this allows the final version to be read without payment by anyone using that link, and importantly, counts toward online usage statistics. While this isn’t exactly the same as OA, it does make it freely available through that link as it is posted or distributed by the author.”

This is an interesting response from OUP. The question aside why the ‘Author Processing Charge’ must be as high as $1,800, if three reviewers each charge $600 for the volunteer work they provide for the journal by reviewing the paper, the APC would be compensated. As a courtesy to reviewers, OUP could waive the APC. Reviewers could wave the review fee as a courtesy to OUP. With wallets closed everybody benefits.

The editor of Science and Public Policy, another OUP journal, responded: “unfortunately at present an unconditional policy for open access publishing is not in place for our journal, rather the following policy applies, which is not in line with your conditions, according to which Authors may upload their accepted manuscript PDF to an institutional and/or centrally organized repository, provided that public availability is delayed until 24 months after first online publication in the journal.”

The editor of the Journal for the Scientific Study of Religion wrote in what seems to be a standard reply: “It has become apparent that I will not need you to review the manuscript at this time. I hope you will be able to review other manuscripts for JSSR in the near future.”

In contrast, the editorial assistant for Body & Society wrote: “We’re just writing to let you know that we no longer require you to review this paper. Enough reviews have come in for the editorial board to be able to make a decision. Thank you for having agreed to review, and we apologise for any inconvenience caused.”

*HT to @dwcorne for identifying this less benign motivation.


Filed under incentives, volunteering

VU University Amsterdam is seeking applications for a fully funded PhD dissertation research position on ‘Philanthropic Crowdfunding for the Cultural Heritage Sector’

The PhD project will focus on characteristics of individual crowdfunders and of crowdfunding projects that influence donation behavior. Specifically, the research investigates the effects of online context characteristics on motivations and giving behavior of crowdfunders as well as the organizational arrangements in which crowdfunding campaigns are embedded. The central question of this research project is: which crowdfunders’ or project characteristics affect donation behaviour and will contribute to more effective donation-based crowdfunding projects?



The PhD student is expected to:

• Collaborate in a multidisciplinary research team;

• Organize large scale field experiments;

• Analyze behaviour in crowdfunding projects with multiple quantitative research methods;

• Write articles for international peer reviewed scientific journals;

• Write a PhD thesis;

• Contribute to some teaching tasks of the Department.



• MSc in social and/or behavioral sciences with a focus on organizational and/or philanthropic     studies;

• Strong interest in field experiments;

• The PhD research candidate needs to be proficient in spoken and written English.


Further particulars

Job title:  PhD-position Organization Science ‘Philanthropic Crowdfunding for the Cultural Heritage Sector’

Fte: 0.8-1.0

VU unit: Faculty of Social Sciences
Vacancy number: 14127
Date of publication: April 3, 2014
Closing date: April 24, 2014


The initial appointment will be for 1 year. After satisfactory evaluation of the initial appointment, it can be extended for a total duration of 4 years. The candidate will participate in the PhD programme of the Faculty of Social Sciences. The research will be supervised by Prof. Dr. Marcel Veenswijk, Dr. Irma Borst (Organization Sciences) and Prof. Dr. René Bekkers (Center for Philanthropic Studies).


The preferred starting date is the 1st of June 2014 and no later than September 2014. You can find information about our excellent fringe benefits of employment at like:

• remuneration of  8,3% end-of-year bonus and  8% holiday allowance;

• a minimum of 29 holidays in case of full-time employment;

• generous contribution (70%) commuting allowance based on public transport;

• discounts on collective insurances (healthcare- and car insurance).



The salary is € 2083,00 gross per month in the first year, increasing to € 2664,00 (salary scale 85) in the fourth year based on full-time employment.


About the VU Amsterdam Faculty of Social Sciences

VU University Amsterdam is one of the leading institutions for higher education in Europe and aims to be inspiring, innovative, and committed to societal welfare. It comprises twelve faculties and has teaching facilities for 25.000 students.

The Faculty of Social Sciences (FSS) is one of the larger faculties of the VU-University. Over 2700 students and more than 300 employees are engaged in teaching and research on social-science issues. The faculty has 5 bacherlor- and 7 masterprogramme’s, which are characterized by their broad and often multidisciplinary character.


The department of Organization Sciences focuses on the processes and phenomena that result in effective and efficient functioning of organizations. Among the topics studied are entrepreneurship, innovation, university-industry cooperation and valorization of research (results). For this specific research project, the department of Organization Sciences and the Center for Philanthropic Studies received a grant from the Netherlands Organization for Scientific research (NWO).

For additional information, please contact Dr. Irma Borst (e-mail:, Prof. Dr. Marcel Veenswijk (e-mail: or Prof. Dr. René Bekkers (e-mail:



Applicants are requested to write a letter in which they describe their abilities and motivation, accompanied by a curriculum vitae and one or two references. The written applications, mentioning the vacancy number in the e-mail header or at the top left of the letter and envelope, should be submitted before April 24, 2014 to:

VU University Amsterdam
Faculty of Social Sciences
to the attention of Mrs. Dr. J.G.M.Reuling, managing director
De Boelelaan 1081
1081 HV Amsterdam, The Netherlands

Or preferably by e-mail:

Leave a comment

Filed under Center for Philanthropic Studies, crowdfunding, economics, experiments, household giving, incentives, philanthropy

Valkuilen in het nieuwe systeem van toezicht op goededoelenorganisaties

Deze bijdrage verscheen op 27 januari op
Dank aan Theo Schuyt voor commentaar op een eerdere versie van dit stuk en aan Sigrid Hemels en Frans Nijhof voor correcties van enkele feitelijke onjuistheden. PDF? Klik hier.

De contouren van het toezicht op goededoelenorganisaties in de toekomst worden zo langzamerhand duidelijk. Het nieuwe systeem is een compromis dat op termijn veel kan veranderen, maar net zo goed een faliekante mislukking kan worden.

Hoe ziet het nieuwe systeem eruit?
In opdracht van de Minister van Veiligheid en Justitie heeft de Commissie De Jong een voorstel gedaan voor een nieuw systeem. De commissie stelt voor een Autoriteit Filantropie op te richten die de fondsenwervende goededoelenorganisaties moet registreren. De autoriteit is een nieuw orgaan dat onder het ministerie van Veiligheid en Justitie valt, maar eigen wettelijke bevoegdheden krijgt. Burgers kunnen de registratie online raadplegen. Het uitgangspunt van het nieuwe systeem is een kostenbesparing. Geregistreerde goededoelenorganisaties hoeven geen keurmerk meer aan te vragen en krijgen automatisch toegang tot de markt voor fondsenwerving. Organisaties die geen fondsen werven zoals vermogensfondsen en organisaties die alleen onder hun leden fondsen werven zoals kerken hoeven zich niet te registreren. De autoriteit maakt de huidige registratie van Algemeen Nut Beogende Instellingen (ANBI’s) door de belastingdienst grotendeels overbodig.

Winnaars en verliezers
Het nieuwe systeem is een overwinning voor vijf partijen: de vermogensfondsen, de kerken, de bekende goededoelenorganisaties, het Ministerie van Veiligheid en Justitie, en de Belastingdienst. De meeste vermogensfondsen en de kerken winnen in het nieuwe systeem omdat zij niet door de registratie heen hoeven wanneer zij geen fondsen werven onder het publiek. Zij blijven als ANBI’s geclassicificeerd bij de belastingdienst. De bekende goededoelenorganisaties winnen in het systeem omdat zij invloed krijgen op de criteria die voor registratie zullen gaan gelden. Het Ministerie van Veiligheid en Justitie wint omdat zij volledige controle krijgt over goededoelenorganisaties. De Belastingdienst wint omdat zij afscheid kan nemen van een groot aantal werknemers die voor de registratie van goededoelenorganisaties zorgden.

De verliezers in het nieuwe systeem zijn de huidige toezichthouders op goededoelenorganisaties (waaronder het Centraal Bureau Fondsenwerving , CBF) en de kleinere goededoelenorganisaties. Het CBF verliest klanten omdat de nieuwe registratie gaat gelden als toegangsbewijs voor de Nederlandse markt voor fondsenwerving en daarmee het keurmerk van het CBF (en een aantal andere, minder bekende, keurmerken) overbodig maakt. De autoriteit filantropie krijgt de mogelijkheid overtreders te beboeten. De Belastingdienst heeft deze mogelijkheid in het huidige systeem niet, zij kan alleen de ANBI-status intrekken. Ook het CBF kan geen boetes innen, maar alleen het keurmerk intrekken.

De criteria waarop potentiële gevers goededoelenorganisaties kunnen gaan beoordelen zijn nog niet geformuleerd. Omdat de kleinere goededoelenorganisaties in Nederland niet of niet goed georganiseerd zijn is het lastig om hun belangen in de autoriteit filantropie een stem te geven. Het gevaar dreigt dat de grotere goededoelenorganisaties de overhand krijgen in de discussie over de regels. Ook is onduidelijk hoe streng de controle gaat worden. De belastingdienst gaat deze controle in ieder geval niet meer doen. De commissie stelt voor dat vooral voorafgaand aan de registratie controle plaatsvindt.

De winst- en verliesrekening voor de burger – als potentiële gever en belastingbetaler – is minder duidelijk. De kosten van de hele operatie zijn niet berekend. De commissie stelt voor dat alle organisaties die zich registreren om toegang te krijgen tot de Nederlandse markt voor fondsenwerving mee gaan betalen. Het ANBI-register telt momenteel zo’n 60.000 inschrijvingen; een deel betreft organisaties die zich in het nieuwe systeem niet meer hoeven te registreren (kerken, vermogensfondsen). Als er 20.000 registraties overblijven kan het nieuwe systeem voor de goededoelenorganisaties aanmerkelijk goedkoper worden. Op dit moment betalen 269 landelijk wervende goededoelenorganisaties voor het CBF-keurmerk. In het huidige systeem worden alle keurmerkhouders gecontroleerd. De autoriteit zal slechts steekproefsgewijs en bij klachten controles uitvoeren.

Gebrekkige probleemanalyse
Het advies vertrekt vanuit de probleemanalyse dat het vertrouwen in goededoelenorganisaties daalt door schandalen en affaires. Deze analyse is niet goed onderbouwd. De publieke verontwaardiging over de salariëring van (interim)managers zoals bij Plan Nederland en de Hartstichting in 2004 en het breken van (onmogelijke) beloften over gratis fondsenwerving zoals bij Alpe D’huZes vorig jaar bedreigen vooral de inkomsten van getroffen organisaties, niet de giften aan de goededoelensector als geheel. Het vertrouwen in goededoelenorganisaties daalt al tijden structureel, zo blijkt uit het Geven in Nederland onderzoek van de Vrije Universiteit en de peilingen van het Nederlands Donateurs Panel.

Vervolgens stelt het advies dat het doel van een nieuw systeem is om het vertrouwen in goededoelenorganisaties onder burgers te vergroten. Dat burgers in vertrouwen moeten kunnen geven door het nieuwe systeem lijkt een legitiem doel. Het is echter de vraag of overheid de imago- en communicatieproblemen van de goededoelensector op moet lossen. We zouden de sector daar immers ook zelf verantwoordelijk voor kunnen houden, zoals in de Verenigde Staten gebeurt. Voor het imago van de overheid en het vertrouwen in de politiek is het echter verstandig de controle op organisaties die fiscale voordelen krijgen waterdicht te maken, zodat er geen vragen komen over de doelmatigheid van de besteding van belastinggeld. Daarnaast is het vanuit de politieke keuze voor de participatiesamenleving verstandig meer inzicht te vragen in de prestaties van goededoelenorganisaties. Als burgers zelf meer verantwoordelijkheid krijgen voor het publiek welzijn via goededoelenorganisaties willen we wel kunnen zien of zij die verantwoordelijkheid inderdaad waarmaken. Dat zou via het register van de Autoriteit Filantropie kunnen.

Nieuw systeem zorgt niet automatisch voor meer vertrouwen
Het is echter de vraag of de burger door het nieuwe systeem ook inderdaad weer meer vertrouwen krijgt in goededoelenorganisaties. Het advies van de Commissie de Jong heeft veel details van het nieuwe systeem nog niet ingevuld. Vertrouwen drijft op de betrouwbaarheid van de controlerende instantie. Die organisatie moet onafhankelijk én streng zijn. Conflicterende belangen bedreigen het vertrouwen. Als de te controleren organisaties vertegenwoordigd zijn in de autoriteit of haar activiteiten kunnen beïnvloeden is zij niet onafhankelijk. Een gebrek aan controle is eveneens een risicofactor voor het publieksvertrouwen, vooral als er later problemen blijken te zijn. Het is belangrijk dat de autoriteit proactief handelt en niet slechts achteraf na gebleken onregelmatigheden een onderzoek instelt.

Blijkbaar is er iets mis met de huidige controle. De probleemanalyse van de commissie de Jong gaat ook op dit punt kort door de bocht. Het advies omschrijft niet hoe de controle op goededoelenorganisaties op dit moment plaatsvindt. De commissie analyseert evenmin wat de problemen zijn in het huidige systeem. Op dit moment gebeurt de controle op goededoelenorganisaties niet door de overheid. De belastingdienst registreert ‘Algemeen nut beogende instellingen’ (ANBI’s), maar controleert deze instellingen nauwelijks als ze eenmaal geregistreerd zijn.

Sterke en zwakke punten van het huidige systeem
In feite heeft de overheid de controle op goededoelenorganisaties nu uitbesteed aan een vrije markt van toezichthouders. Dit zijn organisaties zoals het CBF die keurmerken verstrekken. In theorie is dit een goed werkend systeem omdat de vrijwillige deelname een signaal van kwaliteit geeft aan potentiële donateurs. Goededoelenorganisaties kunnen ervoor kiezen om aan eisen te voldoen die aan deze keurmerken zijn verbonden. Organisaties die daarvoor kiezen willen en kunnen openheid geven; de organisaties die dat niet doen laden de verdenking op zich dat zij minder betrouwbaar zijn. Het systeem werkt als de toezichthouder onafhankelijk is, de controle streng, en de communicatie daarover effectief. Het CBF heeft in de afgelopen jaren echter verzuimd om de criteria scherp te hanteren en uit te leggen aan potentiële donateurs. Het CBF-Keur stelt bijvoorbeeld geen maximum aan de salarissen van medewerkers. Ook bij de onafhankelijkheid kunnen vragen worden gesteld. De grote goededoelenorganisaties zijn met twee afgevaardigden van de VFI vertegenwoordigd in het CBF, en zijn daarnaast in feite klanten die betalen voor de kosten van het systeem. Zij hebben er belang bij de eisen niet aan te scherpen omdat dan de kosten te hoog oplopen.

Twee valkuilen
In het nieuwe systeem dreigen zowel de onafhankelijkheid als de pakkans voor problemen te zorgen. De commissie laat het aan de autoriteit over om te bepalen welke regels zullen worden gehanteerd. Maar wie komen er in die autoriteit? De commissie beveelt aan ‘diverse belanghebbenden (sector, wetenschap, overheid)’ in het bestuur van de autoriteit te laten vertegenwoordigen. Het is echter onduidelijk welke partijen er in de autoriteit precies zitting krijgen, en in welke machtsverhoudingen. Wel is duidelijk dat de autoriteit in eerste instantie uitgaat van het zelfregulerend vermogen van de sector. De goededoelenorganisaties mogen dus zelf met voorstellen komen voor de regels. De commissie legt de verantwoordelijkheid voor de vaststelling van de regels vervolgens bij de overheid, en meer in het bijzonder bij de Minister van Veiligheid en Justitie. Het is dan de vraag in hoeverre de minister gevoelig is voor de lobby van goededoelenorganisaties.

De commissie stelt ook voor de controle op grond van risicoanalyses uit te voeren en om af te gaan op klachten. Dat kan in de praktijk voldoende blijken te zijn. Het nieuwe systeem neemt echter als uitgangspunt de kosten te minimaliseren. Deze kosten moeten bovendien door de te controleren goededoelenorganisaties worden opgebracht. Zij krijgen er belang bij de controle licht en oppervlakkig mogelijk te maken. Als er onvoldoende controle plaatsvindt, zoals in de Verenigde Staten het geval is, zullen ook geregistreerde organisaties onbetrouwbaar blijken te zijn. Dit is natuurlijk helemaal desastreus voor het vertrouwen.

De commissie de Jong stelt bovendien voor dat alle fondsenwervende goededoelenorganisaties van enige betekenisvolle omvang verplicht geregistreerd worden. Het nieuwe systeem biedt geen zicht op de prestaties van vermogensfondsen en kerken omdat zij onder de belastingdienst blijven vallen. Zij krijgen een voorkeursbehandeling omdat zij geen fondsen werven, of alleen onder leden. Dit is een oneigenlijk argument. Het criterium van algemeen nut betreft niet de herkomst van de fondsen, maar de prestaties. Ook de activiteiten van kerken en vermogensfondsen moeten ten goede komen aan het algemeen nut.

Het middel van verplichte registratie is waarschijnlijk niet effectief in het vergroten van het publieksvertrouwen. Een verplichte registratie heeft geen signaalfunctie voor potentiële donateurs. Als alle goededoelenorganisaties aan de eisen voldoen, zijn ze dan allemaal even betrouwbaar? Dat is niet erg waarschijnlijk. Ofwel de lat wordt in het nieuwe systeem zo laag gelegd dat alle organisaties er overheen kunnen springen, ofwel de lat wordt op papier weliswaar hoog gelegd maar in de praktijk stelt de controle niets voor.

Het zou veel beter zijn de autoriteit een vrijwillig sterrensysteem te laten ontwerpen waarin donateurs kunnen zien hoe professioneel de organisatie is aan het aantal sterren die onafhankelijke controle heeft opgeleverd. Donateurs kunnen dan professionelere organisaties verkiezen, voor zover ze bereid zijn daarvoor te betalen tenminste. Geld werven kost geld, en geld effectief besteden ook. Met een financiële bijsluiter kan de autoriteit filantropie inzichtelijk maken wat de te verwachten risico’s zijn van private investeringen in goededoelenorganisaties. Zo dwingt de markt de goededoelenorganisaties tot concurrentie op prestaties voor het publiek welzijn. Een waarlijk onafhankelijke autoriteit die scherp controleert op naleving van (naar keuze) strenge of minder strenge regels is ook binnen die contouren mogelijk en lijkt mij gezien de maatschappelijke betekenis van de filantropie in Nederland van belang.


Filed under charitable organizations, corporate social responsibility, foundations, fraud, household giving, incentives, law, philanthropy, policy evaluation, politics, taxes, trends, trust