Category Archives: law

How to review a paper

Including a Checklist for Hypothesis Testing Research Reports *

See https://osf.io/6cw7b/ for a pdf of this post

 

Academia critically relies on our efforts as peer reviewers to evaluate the quality of research that is published in journals. Reading the reviews of others, I have noticed that the quality varies considerably, and that some reviews are not helpful. The added value of a journal article above and beyond the original manuscript or a non-reviewed preprint is in the changes the authors made in response to the reviews. Through our reviews, we can help to improve the quality of the research. This memo provides guidance on how to review a paper, partly inspired by suggestions provided by Alexander (2005), Lee (1995) and the Committee on Publication Ethics (2017). To improve the quality of the peer review process, I suggest that you use the following guidelines. Some of the guidelines – particularly the criteria at the end of this post – are peculiar for the kind of research that I tend to review – hypothesis testing research reports relying on administrative data and surveys, sometimes with an experimental design. But let me start with guidelines that I believe make sense for all research.

Things to check before you accept the invitation
First, I encourage you to check whether the journal aligns with your vision of science. I find that a journal published by an exploitative publisher making a profit in the range of 30%-40% is not worth my time. A journal that I have submitted my own work to and gave me good reviews is worth the number of reviews I received for my article. The review of a revised version of the paper does not count as a separate paper.
Next, I check whether I am the right person to review the paper. I think it is a good principle to describe my disciplinary background and expertise in relation to the manuscript I am invited to review. Reviewers do not need to be experts in all respects. If you do not have useful expertise to improve the paper, politely decline.

Then I check whether I know the author(s). If I do, and I have not collaborated with the author(s), if I am not currently collaborating or planning to do so, I describe how I know the author(s) and ask the editor whether it is appropriate for me to review the paper. If I have a conflict of interest, I notify the editor and politely decline. It is a good principle to let the editor know immediately if you are unable to review a paper, so the editor can start to look for someone else to review the paper. Your non-response means a delay for the authors and the editor.

Sometimes I get requests to review a paper that I have reviewed before, for a conference or another journal. In these cases I let the editor know and ask the editor whether she would like to see the previous review. For the editor it will be useful to know whether the current manuscript is the same as the version, or includes revisions.

Finally, I check whether the authors have made the data and code available. I have made it a requirement that authors have to fulfil before I accept an invitation to review their work. An exception can be made for data that would be illegal or dangerous to make available, such as datasets that contain identifying information that cannot be removed. In most cases, however, the authors can provide at least partial access to the data by excluding variables that contain personal information.

A paper that does not provide access to the data analyzed and the code used to produce the results in the paper is not worth my time. If the paper does not provide a link to the data and the analysis script, I ask the editor to ask the authors to provide the data and the code. I encourage you to do the same. Almost always the editor is willing to ask the authors to provide access. If the editor does not respond to your request, that is a red flag to me. I decline future invitation requests from the journal. If the authors do not respond to the editor’s request, or are unwilling to provide access to the data and code, that is a red flag for the editor.

The tone of the review
When I write a review, I think of the ‘golden rule’: treat others as you would like to be treated. I write the review report that I would have liked to receive if I had been the author. I use the following principles:

  • Be honest but constructive. You are not at war. There is no need to burn a paper to the ground.
  • Avoid addressing the authors personally. Say: “the paper could benefit from…” instead of “the authors need”.
  • Stay close to the facts. Do not speculate about reasons why the authors have made certain choices beyond the arguments stated in the paper.
  • Take a developmental approach. Any paper will contain flaws and imperfections. Your job is to improve science by identifying problems and suggesting ways to repair them. Think with the authors about ways they can improve the paper in such a way that it benefits collective scholarship. After a quick glance at the paper, I determine whether I think the paper has the potential to be published, perhaps after revisions. If I think the paper is beyond repair, I explain this to the editor.
  • Try to see beyond bad writing style and mistakes in spelling. Also be mindful of disciplinary and cultural differences between the authors and yourself.

The substance of the advice
In my view, it is a good principle to begin the review report by describing your expertise and the way you reviewed the paper. If you searched for literature, checked the data and verified the results, ran additional analyses, state this. It will allow the editor to adjudicate the review.

Then give a brief overview of the paper. If the invitation asks you to provide a general recommendation, consider whether you’d like to give one. Typically, you are invited to recommend ‘reject’, ‘revise & resubmit’ – with major or minor revisions, or ‘accept’. Because the recommendation is the first thing the editor wants to know it is convenient to state it early in the review.

When giving such a recommendation, I start from the assumption that the authors have invested a great deal of time in the paper and that they want to improve it. Also I consider the desk-rejection rate at the journal. If the editor sent the paper out for review, she probably thinks it has the potential to be published.

To get to the general recommendation, I list the strengths and the weaknesses of the paper. To ease the message you can use the sandwich principle: start with the strengths, then discuss the weaknesses, and conclude with an encouragement.

For authors and editors alike it is convenient to give actionable advice. For the weaknesses in the paper I suggest ways to repair them. I distinguish major issues such as not discussing alternative explanations from minor issues such as missing references and typos. It is convenient for both the editor and the authors to number your suggestions.

The strengths could be points that the authors are underselling. In that case, I identify them as strengths that the authors can emphasize more strongly.

It is handy to refer to issues with direct quotes and page numbers. To refer to the previous sentence: “As the paper states on page 3, [use] “direct quotes and page numbers””.

In 2016 I have started to sign my reviews. This is an accountability device: by exposing who I am to the authors of the paper I’m reviewing, I set higher standards for myself. I encourage you to think about this as an option, though I can imagine that you may not want to risk retribution as a graduate student or an early career researcher. Also some editors do not appreciate signed reviews and may take away your identifying information.

How to organize the review work
Usually, I read a paper twice. First, I go over the paper superficially and quickly. I do not read it closely. This gets me a sense of where the authors are going. After the first superficial reading, I determine whether the paper is good enough to be revised and resubmitted, and if so, I provide more detailed comments. After the report is done, I revisit my initial recommendation.

The second time I go over the paper, I do a very close reading. Because the authors had a word limit, I assume that literally every word in the manuscript is absolutely necessary – the paper should have no repetitions. Some of the information may be in the supplementary information provided with the paper.

Below you find a checklist of things I look for in a paper. The checklist reflects the kind of research that I tend to review, which is typically testing a set of hypotheses based on theory and previous research with data from surveys, experiments, or archival sources. For other types of research – such as non-empirical papers, exploratory reports, and studies based on interviews or ethnographic material – the checklist is less appropriate. The checklist may also be helpful for authors preparing research reports.

I realize that this is an extensive set of criteria for reviews. It sets the bar pretty high. A review checking each of the criteria will take you at least three hours, but more likely between five and eight hours. As a reviewer, I do not always check all criteria myself. Some of the criteria do not necessarily have to be done by peer reviewers. For instance, some journals employ data editors who check whether data and code provided by authors produce the results reported.

I do hope that journals and editors can get to a consensus on a set of minimum criteria that the peer review process should cover, or at least provide clarity about the criteria that they do check.

After the review
If the authors have revised their paper, it is a good principle to avoid making new demands for the second round that you have not made before. Otherwise the revise and resubmit path can be very long.

 

References
Alexander, G.R. (2005). A Guide to Reviewing Manuscripts. Maternal and Child Health Journal, 9 (1): 113-117. https://doi.org/10.1007/s10995-005-2423-y
Committee on Publication Ethics Council (2017). Ethical guidelines for peer reviewers. https://publicationethics.org/files/Ethical_Guidelines_For_Peer_Reviewers_2.pdf
Lee, A.S. (1995). Reviewing a manuscript for publication. Journal of Operations Management, 13: 87-92. https://doi.org/10.1016/0272-6963(95)94762-W

 

Review checklist for hypothesis testing reports

Research question

  1. Is it clear from the beginning what the research question is? If it is in the title, that’s good. In the first part of the abstract is good too. Is it at the end of the introduction section? In most cases that is too late.
  2. Is it clearly formulated? By the research question alone, can you tell what the paper is about?
  3. Does the research question align with what the paper actually does – or can do – to answer it?
  4. Is it important to know the answer to the research question for previous theory and methods?
  5. Does the paper address a question that is important from a societal or practical point of view?

 

Research design

  1. Does the research design align with the research question? If the question is descriptive, do the data actually allow for a representative and valid description? If the question is a causal question, do the data allow for causal inference? If not, ask the authors to report ‘associations’ rather than ‘effects’.
  2. Is the research design clearly described? Does the paper report all the steps taken to collect the data?
  3. Does the paper identify mediators of the alleged effect? Does the paper identify moderators as boundary conditions?
  4. Is the research design waterproof? Does the study allow for alternative interpretations?
  5. Has the research design been preregistered? Does the paper refer to a public URL where the preregistration is posted? Does the preregistration include a statistical power analysis? Is the number of observations sufficient for statistical tests of hypotheses? Are deviations from the preregistered design reported?
  6. Has the experiment been approved by an Internal or Ethics Review Board (IRB/ERB)? What is the IRB registration number?

 

Theory

  1. Does the paper identify multiple relevant theories?
  2. Does the theory section specify hypotheses? Have the hypotheses been formulated before the data were collected? Before the data were analyzed?
  3. Do hypotheses specify arguments why two variables are associated? Have alternative arguments been considered?
  4. Is the literature review complete? Does the paper cover the most relevant previous studies, also outside the discipline? Provide references to research that is not covered in the paper, but should definitely be cited.

 

Data & Methods

  1. Target group – Is it identified? If mankind, is the sample a good sample of mankind? Does it cover all relevant units?
  2. Sample – Does the paper identify the procedure used to obtain the sample from the target group? Is the sample a random sample? If not, has selective non-response been dealt with, examined, and have constraints on generality been identified as a limitation?
  3. Number of observations – What is the statistical power of the analysis? Does the paper report a power analysis?
  4. Measures – Does the paper provide the complete topic list, questionnaire, instructions for participants? To what extent are the measures used valid? Reliable?
  5. Descriptive statistics – Does the paper provide a table of descriptive statistics (minimum, maximum, mean, standard deviation, number of observations) for all variables in the analyses? If not, ask for such a table.
  6. Outliers – Does the paper identify treatment of outliers, if any?
  7. Is the multi-level structure (e.g., persons in time and space) identified and taken into account in an appropriate manner in the analysis? Are standard errors clustered?
  8. Does the paper report statistical mediation analyses for all hypothesized explanation(s)? Do the mediation analyses evaluate multiple pathways, or just one?
  9. Do the data allow for testing additional explanations that are not reported in the paper?

 

Results

  1. Can the results be reproduced from the data and code provided by the authors?
  2. Are the results robust to different specifications?

Conclusion

  1. Does the paper give a clear answer to the research question posed in the introduction?
  2. Does the paper identify implications for the theories tested, and are they justified?
  3. Does the paper identify implications for practice, and are they justified given the evidence presented?

 

Discussion

  1. Does the paper revisit the limitations of the data and methods?
  2. Does the paper suggest future research to repair the limitations?

 

Meta

  1. Does the paper have an author contribution note? Is it clear who did what?
  2. Are all analyses reported, if they are not in the main text, are they available in an online appendix?
  3. Are references up to date? Does the reference list include a reference to the dataset analyzed, including an URL/DOI?

 

 

* This work is licensed under a Creative Commons Attribution 4.0 International License. Thanks to colleagues at the Center for Philanthropic Studies at Vrije Universiteit Amsterdam, in particular Pamala Wiepking, Arjen de Wit, Theo Schuyt and Claire van Teunenbroek, for insightful comments on the first version. Thanks to Robin Banks, Pat Danahey Janin, Rense Corten, David Reinstein, Eleanor Brilliant, Claire Routley, Margaret Harris, Brenda Bushouse, Craig Furneaux, Angela Eikenberry, Jennifer Dodge, and Tracey Coule for responses to the second draft. The current text is the fourth draft. The most recent version of this paper is available as a preprint at https://doi.org/10.31219/osf.io/7ug4w. Suggestions continue to be welcome at r.bekkers@vu.nl.

Leave a comment

Filed under academic misconduct, data, experiments, fraud, helping, incentives, law, open science, sociology, survey research

Closing the Age of Competitive Science

In the prehistoric era of competitive science, researchers were like magicians: they earned a reputation for tricks that nobody could repeat and shared their secrets only with trusted disciples. In the new age of open science, researchers share by default, not only with peer reviewers and fellow researchers, but with the public at large. The transparency of open science reduces the temptation of private profit maximization and the collective inefficiency in information asymmetries inherent in competitive markets. In a seminar organized by the University Library at Vrije Universiteit Amsterdam on November 1, 2018, I discussed recent developments in open science and its implications for research careers and progress in knowledge discovery. The slides are posted here. The podcast is here.

2 Comments

Filed under academic misconduct, data, experiments, fraud, incentives, law, Netherlands, open science, statistical analysis, survey research, VU University

Philanthropy: from Charity to Prosocial Investment

Contribution to the March 2016 edition of the European Research Network on Philanthropy (ERNOP) newsletter. PDF version here.

Philanthropy can take many forms. It ranges from the student who showed up at my doorstep with a collection tin to raise small contributions for legal assistance to the poor to the recent announcement by Facebook co-founder Mark Zuckerberg and his wife Priscilla Chan of the establishment of a $42 billion charitable foundation. The media focused on the question why Zuckerberg and Chan would put 99% of their wealth in a foundation. The legal form of the foundation allowed Zuckerberg to keep control over the shares without having to pay taxes. Leaving aside the difficult question what motivation the legal form confesses for the moment, my point is that a change is taking place in the face that philanthropy takes.

Entrepreneurial forms of philanthropy, manifesting a strategic investment orientation, become more visible. We see them in social impact bonds, in social enterprises, in venture philanthropy and in the investments of foundations in the development of new drugs and treatments. A reliable count of the prevalence of such prosocial investments is not available, but 2015 was certainly a memorable year: the first Ebola vaccine was produced in a lab funded by the Wellcome Trust and polio was eradicated from Africa through coordinated efforts supported by a coalition of the WHO, Unicef, the Rotary International Foundation, and the Bill and Melinda Gates Foundation.

Of course there are limitations to philanthropy. Some problems are just too big to handle, even for the wealthiest foundations on earth, using the most innovative forms of investments. The refugee crisis continues to challenge the resilience of Europe. NGOs are delivering relief aid in the most difficult circumstances. But these efforts are band aids, as long as political leaders are struggling to gather the will power to solve it together.

The Zuckerberg/Chan announcement revived previous critiques of philanthrocapitalism. Isn’t it dangerous to have so much money in so few hands? Can we rely on wealthy foundations to invest in socially responsible ways? Foundations are the freest institutions on earth and can take risks that governments cannot afford. But the track records of the corporations that gave rise to the current foundation fortunes are not immaculate, monopolizing markets and evading taxes. Wealthy foundations can have a significant impact on society and influence public policy, limiting the influence of governments. It is political will that enables the existence and facilitates the fortune of wealthy foundations. Ultimately, the realization that the interests of the people should not be harmed enables the activities of foundations. Hence the talk about the importance of giving back to society.

The sociologist Alvin Gouldner is famous for his 1960 article ‘The Norm of Reciprocity’, which describes how reciprocity works. He also wrote a second classic, much less known: ‘The Importance of Something for Nothing.’ In this follow-up (1973), he stresses the norm of beneficence: “This norm requires men to give others such help as they need. Rather than making help contingent upon past benefits received or future benefits expected, the norm of beneficence calls upon men to aid others without thought of what they have done or what they can do for them, and solely in terms of a need imputed to the potential recipient.” In a series of studies I co-authored with Mark Ottoni-Wilhelm, an economist from the Lilly Family School of Philanthropy at Indiana University, we call this norm ‘the principle of care’.

With this quote I return to the question about motivation. The letter to their daughter in which Zuckerberg and Chan announced their foundation reveals noble concerns for the future of mankind. It is not their child’s need that motivated them, but the needs of the world in which she is born. This is the genesis of true philanthropy. Pretty much like the awareness of need that the law student demonstrated at my doorstep.

References

Bekkers, R. & Ottoni-Wilhelm, M. (2016). Principle of Care and Giving to Help People in Need. European Journal of Personality.  

Gouldner, A.W. (1960). The Norm of Reciprocity: A Preliminary Statement. American Sociological Review, 25 (2): 161-178. http://www.jstor.org/stable/2092623

Gouldner, A.W. (1973). The Importance of Something for Nothing. In: Gouldner, A.W. (Ed.). For Sociology, Harmondsworth: Penguin.

Wilhelm, M.O., & Bekkers, R. (2010). Helping Behavior, Dispositional Empathic Concern, and the Principle of Care. Social Psychology Quarterly, 73 (1): 11-32.

Leave a comment

Filed under altruism, charitable organizations, foundations, law, philanthropy, principle of care, taxes

Een gedragscode voor werving nalatenschappen door goede doelen

In 1Vandaag zei ik op 19 februari dat er in Nederland geen gedragscode voor de werving van nalatenschappen bestaat. Dit blijkt niet waar, er is wel degelijk een richtlijn voor nalatenschappenwerving. In de regels van het Centraal Bureau Fondsenwerving voor het CBF-Keur en op de website van de VFI (Vereniging voor Fondsenwervende Instellingen), branchevereniging voor goede doelen, is deze richtlijn echter niet te vinden. De VFI heeft wel een richtlijn voor de afwikkeling van nalatenschappen. Maar die gaat over de afwikkeling, als het geld al binnen is. Niet over de werving van nalatenschappen.

Het blijkt dat de richtlijn voor de werving van nalatenschappen is gepubliceerd door een derde organisatie, het Instituut Fondsenwerving. Deze organisatie heeft in 2012 een richtlijn opgesteld voor fondsenwervende instellingen die nalatenschappen werven. De richtlijn is niet verplichtend. Het Instituut Fondsenwerving heeft ook een gedragscode waar haar leden zich aan hebben te houden, maar de richtlijn voor nalatenschappen heeft niet de status van gedragscode. Bij het Instituut Fondsenwerving zijn volgens de ledenlijst 231 goede doelen organisaties aangesloten (klik hier voor een overzicht in Excel). Het Leger des Heils is lid van het IF, maar de Zonnebloem niet. Ook andere grote ontvangers van nalatenschappen, zoals KWF Kankerbestrijding, ontbreken op de ledenlijst. Zij zijn wel lid van de VFI, dat 113 leden en 11 aspirant leden telt.

De VFI reageerde op de uitzending via haar website en vermeldde de richtlijn van het Instituut Fondsenwerving. De status van de richtlijn is in de reactie opgehoogd naar een gedragscode. Dit zou betekenen dat leden die zich niet aan de richtlijn houden, kunnen worden geroyeerd. Gosse Bosma, directeur van de VFI, zei overigens in de 1Vandaag uitzending dat de VFI niet is nagegaan of de betrokken leden zich aan de richtlijn hebben gehouden en dat ook niet nodig te vinden. Het IF zelf heeft niet gereageerd. Ook de ontvangende goede doelen, de Zonnebloem en het Leger des Heils, reageerden deze week via het vaktijdschrift voor de filantropie, Filanthropium. Zij verklaarden zich bereid onrechtmatigheden te corrigeren. Wordt ongetwijfeld vervolgd in de volgende fase van deze zaak, of wanneer een nieuwe zaak zich aandient.

 

Leave a comment

Filed under bequests, charitable organizations, fundraising, incentives, law, philanthropy, regulation

Wat zegt het CBF-Keur voor goede doelen?

Het Financieel Dagblad besteedt een lang artikel aan de betekenis van het CBF-Keur voor goede doelen naar aanleiding van de vraag: “Waar blijft mijn gedoneerde euro?” Het “keurmerk en boekhoudregels zijn geen garantie voor een zinvolle besteding”, volgens de krant. Verderop in het artikel staat mijn naam genoemd bij de stelling dat het CBF-Keur ‘fraude of veel te hoge kosten niet uitsluit’ en zelfs dat het ‘nietszeggend’ zou zijn. Inderdaad zegt het feit dat een goed doel over het CBF-Keur beschikt niet dat de organisatie perfect werkt. Het maakt fraude niet onmogelijk en dwingt organisaties ook niet altijd tot de meest efficiënte besteding van beschikbare middelen. In het verleden zijn misstanden bij verschillende CBF-Keurmerkhouders in het nieuws gekomen, die bij sommige organisaties hebben geleid tot intrekking van het keurmerk.

Maar helemaal ‘nietszeggend’ is het CBF-Keur ook weer niet. Zo denk ik er ook niet over. Het CBF-Keur zegt wel degelijk wat. Voordat een organisatie het CBF-Keur mag voeren moet het een uitgebreide procedure door om aan eisen te voldoen aan financiële verslaggeving, onafhankelijkheid van het bestuur, kosten van fondsenwerving, en de formulering van beleidsplannen. Dit zijn relevante criteria. Zij zorgen ervoor dat je als donateur erop kunt vertrouwen dat de organisatie op een professionele manier werkt. Het CBF-Keur zegt alleen niet zoveel over de efficiëntie van de bestedingen van een goed doel. Veel mensen denken dat wel, zo constateerden we in onderzoek uit 2009.

Het is lastige materie. Garantie krijg je op een product dat je koopt in de winkel, waardoor je het terug kunt brengen als het niet functioneert of binnen korte tijd stuk gaat. Zulke garanties zijn moeilijk te geven voor giften aan goede doelen. Een dergelijke garantie zou je alleen kunnen geven als de kwaliteit van het werk van goede doelenorganisaties gecontroleerd kan worden en er een minimumeis voor te formuleren valt. Dat lijkt mij onmogelijk. Het CBF-Keur is niet zoiets als een rijbewijs dat je moet hebben voordat je een auto mag besturen. De markt voor goede doelen is vrij toegankelijk; iedereen mag de weg op. Sommige goede doelen hebben een keurmerk, maar dat zegt vooral hoeveel ze betaald hebben voor de benzine, in wat voor auto ze rijden en wie er achter het stuur zit. Het zegt nog niet zoveel over de hoeveelheid ongelukken die ze ooit hebben mee gemaakt of veroorzaakt, en of dat de kortste of de snelste weg is.

Vorig jaar stelde de commissie-De Jong voor om een autoriteit filantropie in te stellen, die organisaties zou gaan controleren voordat ze de markt voor goede doelen op mogen. Er zou een goede doelen politie komen die ook op de naleving van de regels mag controleren en boetes mag uitdelen. Dat voorstel was te duur voor de overheid. Voor de goede doelen was het onaantrekkelijk omdat zij aan nieuwe regels zouden moeten gaan voldoen. Bovendien was het niet duidelijk of die nieuwe regels ook echt het aantal ongelukken zou verlagen. Het is op dit moment überhaupt niet duidelijk hoe goed de bestuurders van goede doelen de weg kennen en hoeveel ongelukken ze maken. Een beter systeem zou moeten beginnen met een meting van het aantal overtredingen in het goede doelen verkeer en een telling van het aantal bestuurders met en zonder rijbewijs. Vervolgens zou het goed zijn om een rijopleiding op te zetten die iedereen die de markt op wil kan volgen en in staat stelt de vaardigheden op te doen waarover elke bestuurder moet beschikken. Ik hoop dat het artikel in het Financieel Dagblad tot een discussie leidt die dit duidelijk maakt.

Intussen heeft het CBF gereageerd met de verzekering dat er gewerkt wordt aan uitwerking van richtlijnen voor ‘reactief toezicht op prestaties’. Ook de VFI, branchevereniging voor goede doelen, kwam met een reactie van die strekking. Dat is goed nieuws. Maar die nieuwe richtlijnen zijn er nog lang niet. In de tussentijd geeft het CBF keurmerken af en publiceren de Nederlandse media – die na Finland de meest vrije ter wereld zijn – af en toe een flitspaalfoto van wegmisbruikers. Dat lijkt voldoende te zijn om het goede doelen verkeer zichzelf te laten regelen en de ergste ongelukken te voorkomen. Want die zijn er maar weinig.

Leave a comment

Filed under charitable organizations, fraud, household giving, impact, incentives, law, philanthropy, policy evaluation, politics

Valkuilen in het nieuwe systeem van toezicht op goededoelenorganisaties

Deze bijdrage verscheen op 27 januari op Filanthropium.nl.
Dank aan Theo Schuyt voor commentaar op een eerdere versie van dit stuk en aan Sigrid Hemels en Frans Nijhof voor correcties van enkele feitelijke onjuistheden. PDF? Klik hier.

De contouren van het toezicht op goededoelenorganisaties in de toekomst worden zo langzamerhand duidelijk. Het nieuwe systeem is een compromis dat op termijn veel kan veranderen, maar net zo goed een faliekante mislukking kan worden.

Hoe ziet het nieuwe systeem eruit?
In opdracht van de Minister van Veiligheid en Justitie heeft de Commissie De Jong een voorstel gedaan voor een nieuw systeem. De commissie stelt voor een Autoriteit Filantropie op te richten die de fondsenwervende goededoelenorganisaties moet registreren. De autoriteit is een nieuw orgaan dat onder het ministerie van Veiligheid en Justitie valt, maar eigen wettelijke bevoegdheden krijgt. Burgers kunnen de registratie online raadplegen. Het uitgangspunt van het nieuwe systeem is een kostenbesparing. Geregistreerde goededoelenorganisaties hoeven geen keurmerk meer aan te vragen en krijgen automatisch toegang tot de markt voor fondsenwerving. Organisaties die geen fondsen werven zoals vermogensfondsen en organisaties die alleen onder hun leden fondsen werven zoals kerken hoeven zich niet te registreren. De autoriteit maakt de huidige registratie van Algemeen Nut Beogende Instellingen (ANBI’s) door de belastingdienst grotendeels overbodig.

Winnaars en verliezers
Het nieuwe systeem is een overwinning voor vijf partijen: de vermogensfondsen, de kerken, de bekende goededoelenorganisaties, het Ministerie van Veiligheid en Justitie, en de Belastingdienst. De meeste vermogensfondsen en de kerken winnen in het nieuwe systeem omdat zij niet door de registratie heen hoeven wanneer zij geen fondsen werven onder het publiek. Zij blijven als ANBI’s geclassicificeerd bij de belastingdienst. De bekende goededoelenorganisaties winnen in het systeem omdat zij invloed krijgen op de criteria die voor registratie zullen gaan gelden. Het Ministerie van Veiligheid en Justitie wint omdat zij volledige controle krijgt over goededoelenorganisaties. De Belastingdienst wint omdat zij afscheid kan nemen van een groot aantal werknemers die voor de registratie van goededoelenorganisaties zorgden.

De verliezers in het nieuwe systeem zijn de huidige toezichthouders op goededoelenorganisaties (waaronder het Centraal Bureau Fondsenwerving , CBF) en de kleinere goededoelenorganisaties. Het CBF verliest klanten omdat de nieuwe registratie gaat gelden als toegangsbewijs voor de Nederlandse markt voor fondsenwerving en daarmee het keurmerk van het CBF (en een aantal andere, minder bekende, keurmerken) overbodig maakt. De autoriteit filantropie krijgt de mogelijkheid overtreders te beboeten. De Belastingdienst heeft deze mogelijkheid in het huidige systeem niet, zij kan alleen de ANBI-status intrekken. Ook het CBF kan geen boetes innen, maar alleen het keurmerk intrekken.

De criteria waarop potentiële gevers goededoelenorganisaties kunnen gaan beoordelen zijn nog niet geformuleerd. Omdat de kleinere goededoelenorganisaties in Nederland niet of niet goed georganiseerd zijn is het lastig om hun belangen in de autoriteit filantropie een stem te geven. Het gevaar dreigt dat de grotere goededoelenorganisaties de overhand krijgen in de discussie over de regels. Ook is onduidelijk hoe streng de controle gaat worden. De belastingdienst gaat deze controle in ieder geval niet meer doen. De commissie stelt voor dat vooral voorafgaand aan de registratie controle plaatsvindt.

De winst- en verliesrekening voor de burger – als potentiële gever en belastingbetaler – is minder duidelijk. De kosten van de hele operatie zijn niet berekend. De commissie stelt voor dat alle organisaties die zich registreren om toegang te krijgen tot de Nederlandse markt voor fondsenwerving mee gaan betalen. Het ANBI-register telt momenteel zo’n 60.000 inschrijvingen; een deel betreft organisaties die zich in het nieuwe systeem niet meer hoeven te registreren (kerken, vermogensfondsen). Als er 20.000 registraties overblijven kan het nieuwe systeem voor de goededoelenorganisaties aanmerkelijk goedkoper worden. Op dit moment betalen 269 landelijk wervende goededoelenorganisaties voor het CBF-keurmerk. In het huidige systeem worden alle keurmerkhouders gecontroleerd. De autoriteit zal slechts steekproefsgewijs en bij klachten controles uitvoeren.

Gebrekkige probleemanalyse
Het advies vertrekt vanuit de probleemanalyse dat het vertrouwen in goededoelenorganisaties daalt door schandalen en affaires. Deze analyse is niet goed onderbouwd. De publieke verontwaardiging over de salariëring van (interim)managers zoals bij Plan Nederland en de Hartstichting in 2004 en het breken van (onmogelijke) beloften over gratis fondsenwerving zoals bij Alpe D’huZes vorig jaar bedreigen vooral de inkomsten van getroffen organisaties, niet de giften aan de goededoelensector als geheel. Het vertrouwen in goededoelenorganisaties daalt al tijden structureel, zo blijkt uit het Geven in Nederland onderzoek van de Vrije Universiteit en de peilingen van het Nederlands Donateurs Panel.

Vervolgens stelt het advies dat het doel van een nieuw systeem is om het vertrouwen in goededoelenorganisaties onder burgers te vergroten. Dat burgers in vertrouwen moeten kunnen geven door het nieuwe systeem lijkt een legitiem doel. Het is echter de vraag of overheid de imago- en communicatieproblemen van de goededoelensector op moet lossen. We zouden de sector daar immers ook zelf verantwoordelijk voor kunnen houden, zoals in de Verenigde Staten gebeurt. Voor het imago van de overheid en het vertrouwen in de politiek is het echter verstandig de controle op organisaties die fiscale voordelen krijgen waterdicht te maken, zodat er geen vragen komen over de doelmatigheid van de besteding van belastinggeld. Daarnaast is het vanuit de politieke keuze voor de participatiesamenleving verstandig meer inzicht te vragen in de prestaties van goededoelenorganisaties. Als burgers zelf meer verantwoordelijkheid krijgen voor het publiek welzijn via goededoelenorganisaties willen we wel kunnen zien of zij die verantwoordelijkheid inderdaad waarmaken. Dat zou via het register van de Autoriteit Filantropie kunnen.

Nieuw systeem zorgt niet automatisch voor meer vertrouwen
Het is echter de vraag of de burger door het nieuwe systeem ook inderdaad weer meer vertrouwen krijgt in goededoelenorganisaties. Het advies van de Commissie de Jong heeft veel details van het nieuwe systeem nog niet ingevuld. Vertrouwen drijft op de betrouwbaarheid van de controlerende instantie. Die organisatie moet onafhankelijk én streng zijn. Conflicterende belangen bedreigen het vertrouwen. Als de te controleren organisaties vertegenwoordigd zijn in de autoriteit of haar activiteiten kunnen beïnvloeden is zij niet onafhankelijk. Een gebrek aan controle is eveneens een risicofactor voor het publieksvertrouwen, vooral als er later problemen blijken te zijn. Het is belangrijk dat de autoriteit proactief handelt en niet slechts achteraf na gebleken onregelmatigheden een onderzoek instelt.

Blijkbaar is er iets mis met de huidige controle. De probleemanalyse van de commissie de Jong gaat ook op dit punt kort door de bocht. Het advies omschrijft niet hoe de controle op goededoelenorganisaties op dit moment plaatsvindt. De commissie analyseert evenmin wat de problemen zijn in het huidige systeem. Op dit moment gebeurt de controle op goededoelenorganisaties niet door de overheid. De belastingdienst registreert ‘Algemeen nut beogende instellingen’ (ANBI’s), maar controleert deze instellingen nauwelijks als ze eenmaal geregistreerd zijn.

Sterke en zwakke punten van het huidige systeem
In feite heeft de overheid de controle op goededoelenorganisaties nu uitbesteed aan een vrije markt van toezichthouders. Dit zijn organisaties zoals het CBF die keurmerken verstrekken. In theorie is dit een goed werkend systeem omdat de vrijwillige deelname een signaal van kwaliteit geeft aan potentiële donateurs. Goededoelenorganisaties kunnen ervoor kiezen om aan eisen te voldoen die aan deze keurmerken zijn verbonden. Organisaties die daarvoor kiezen willen en kunnen openheid geven; de organisaties die dat niet doen laden de verdenking op zich dat zij minder betrouwbaar zijn. Het systeem werkt als de toezichthouder onafhankelijk is, de controle streng, en de communicatie daarover effectief. Het CBF heeft in de afgelopen jaren echter verzuimd om de criteria scherp te hanteren en uit te leggen aan potentiële donateurs. Het CBF-Keur stelt bijvoorbeeld geen maximum aan de salarissen van medewerkers. Ook bij de onafhankelijkheid kunnen vragen worden gesteld. De grote goededoelenorganisaties zijn met twee afgevaardigden van de VFI vertegenwoordigd in het CBF, en zijn daarnaast in feite klanten die betalen voor de kosten van het systeem. Zij hebben er belang bij de eisen niet aan te scherpen omdat dan de kosten te hoog oplopen.

Twee valkuilen
In het nieuwe systeem dreigen zowel de onafhankelijkheid als de pakkans voor problemen te zorgen. De commissie laat het aan de autoriteit over om te bepalen welke regels zullen worden gehanteerd. Maar wie komen er in die autoriteit? De commissie beveelt aan ‘diverse belanghebbenden (sector, wetenschap, overheid)’ in het bestuur van de autoriteit te laten vertegenwoordigen. Het is echter onduidelijk welke partijen er in de autoriteit precies zitting krijgen, en in welke machtsverhoudingen. Wel is duidelijk dat de autoriteit in eerste instantie uitgaat van het zelfregulerend vermogen van de sector. De goededoelenorganisaties mogen dus zelf met voorstellen komen voor de regels. De commissie legt de verantwoordelijkheid voor de vaststelling van de regels vervolgens bij de overheid, en meer in het bijzonder bij de Minister van Veiligheid en Justitie. Het is dan de vraag in hoeverre de minister gevoelig is voor de lobby van goededoelenorganisaties.

De commissie stelt ook voor de controle op grond van risicoanalyses uit te voeren en om af te gaan op klachten. Dat kan in de praktijk voldoende blijken te zijn. Het nieuwe systeem neemt echter als uitgangspunt de kosten te minimaliseren. Deze kosten moeten bovendien door de te controleren goededoelenorganisaties worden opgebracht. Zij krijgen er belang bij de controle licht en oppervlakkig mogelijk te maken. Als er onvoldoende controle plaatsvindt, zoals in de Verenigde Staten het geval is, zullen ook geregistreerde organisaties onbetrouwbaar blijken te zijn. Dit is natuurlijk helemaal desastreus voor het vertrouwen.

De commissie de Jong stelt bovendien voor dat alle fondsenwervende goededoelenorganisaties van enige betekenisvolle omvang verplicht geregistreerd worden. Het nieuwe systeem biedt geen zicht op de prestaties van vermogensfondsen en kerken omdat zij onder de belastingdienst blijven vallen. Zij krijgen een voorkeursbehandeling omdat zij geen fondsen werven, of alleen onder leden. Dit is een oneigenlijk argument. Het criterium van algemeen nut betreft niet de herkomst van de fondsen, maar de prestaties. Ook de activiteiten van kerken en vermogensfondsen moeten ten goede komen aan het algemeen nut.

Het middel van verplichte registratie is waarschijnlijk niet effectief in het vergroten van het publieksvertrouwen. Een verplichte registratie heeft geen signaalfunctie voor potentiële donateurs. Als alle goededoelenorganisaties aan de eisen voldoen, zijn ze dan allemaal even betrouwbaar? Dat is niet erg waarschijnlijk. Ofwel de lat wordt in het nieuwe systeem zo laag gelegd dat alle organisaties er overheen kunnen springen, ofwel de lat wordt op papier weliswaar hoog gelegd maar in de praktijk stelt de controle niets voor.

Het zou veel beter zijn de autoriteit een vrijwillig sterrensysteem te laten ontwerpen waarin donateurs kunnen zien hoe professioneel de organisatie is aan het aantal sterren die onafhankelijke controle heeft opgeleverd. Donateurs kunnen dan professionelere organisaties verkiezen, voor zover ze bereid zijn daarvoor te betalen tenminste. Geld werven kost geld, en geld effectief besteden ook. Met een financiële bijsluiter kan de autoriteit filantropie inzichtelijk maken wat de te verwachten risico’s zijn van private investeringen in goededoelenorganisaties. Zo dwingt de markt de goededoelenorganisaties tot concurrentie op prestaties voor het publiek welzijn. Een waarlijk onafhankelijke autoriteit die scherp controleert op naleving van (naar keuze) strenge of minder strenge regels is ook binnen die contouren mogelijk en lijkt mij gezien de maatschappelijke betekenis van de filantropie in Nederland van belang.

2 Comments

Filed under charitable organizations, corporate social responsibility, foundations, fraud, household giving, incentives, law, philanthropy, policy evaluation, politics, taxes, trends, trust

Overheid vermindert giften aan ontwikkelingssamenwerking door bezuinigingen

Drie nieuwe onderzoeksresultaten verminderen de hoop dat burgers de overheidsbezuinigingen op internationale hulporganisaties zullen compenseren door meer giften:

  1. Bezuinigingen verminderen de investeringen van hulporganisaties in fondsenwerving;
  2. Mensen geven liever aan doelen die anderen ook steunen;
  3. Er zijn meer Nederlanders die zeggen dat ze mee zullen bezuinigen dan Nederlanders die meer zullen geven als de overheid bezuinigt.

Deze drie resultaten presenteerde ik vandaag op een seminar van NCDO in Den Haag. Meer details staan hier.

Leave a comment

Filed under altruism, charitable organizations, disaster relief, experiments, household giving, law, politics

Tien Filantropie Trends

  1. Nalatenschappen: goededoelenorganisaties ontvangen steeds meer inkomsten uit nalatenschappen, naar verwachting €86 miljard tot 2059.
  2. Evenementen: goededoelenorganisaties ontvangen steeds meer inkomsten uit evenementen zoals Alpe d’Huzes waar enthousiaste vrijwilligers sponsorgelden voor werven.
  3. Werknemersvrijwilligerswerk: bedrijven sponsoren steeds minder direct met geld, en sturen hun medewerkers liever op maatschappelijk verantwoord teamuitje zoals NL Doet.
  4. Vertrouwen onder druk: het traditioneel hoge niveau van vertrouwen in goededoelenorganisaties daalt structureel en lijdt incidenteel verlies door ophef over salarissen.
  5. Lokalisering: lokale nonprofit organisaties zoals musea en ziekenhuizen gaan fondsenwerven, internationale hulporganisaties ontvangen steeds minder.
  6. Dynamiek in geefgedrag: donateurs zijn steeds minder trouw aan goededoelenorganisaties en doen vaker incidentele giften zoals bij sponsoracties.
  7. Druk op het waterbed: de overheid bezuinigt en probeert burgers meer bij te laten bijdragen, onder meer door fiscale maatregelen zoals de Geefwet.
  8. Meer transparantie:  goededoelenorganisaties in het ANBI-register worden per 1 januari 2014 verplicht openheid te geven over hun financiën en beleid.
  9. Doe-het-zelf filantropie met crowdfunding: steeds vaker werven mensen geld voor hun eigen goede doel via sociale media en geefplatforms zoals Voordekunst.nl
  10. Mega-donors: terwijl de giften van het mediane huishouden afnemen, geven vermogende Nederlanders steeds meer.

1 Comment

Filed under charitable organizations, corporate social responsibility, crowdfunding, foundations, household giving, law, politics, taxes, trends, volunteering, wealth

Dag van de Filantropie en Boekpresentatie Geven in Nederland 2013 op 25 april

Op de Dag van de Filantropie 2013 – het jaarlijks terugkerend evenement op de laatste donderdag van april – is dit jaar het boek ‘Geven in Nederland 2013’ gepresenteerd. Dit jaar kreeg een bijzonder tintje door het aanvaarden van een bijzondere leerstoel met het uitspreken van de rede ‘De maatschappelijke betekenis van filantropie’ door René Bekkers.

Kiezen om te Delen: Filantropie in Tijden van Economische Tegenwind

Nu het economisch niet voor de wind gaat zien we allerlei verschuivingen in de filantropie in Nederland. We zien een  terugval in het geefgedrag en verschuivingen in bestedingen van bedrijven en huishoudens. Zij moeten bewustere keuzes maken; onderscheid maken tussen wat écht belangrijk is en wat niet. De dynamiek binnen de bronnen van filantropische bijdragen en maatschappelijke doelen vormden het hoofdthema van het symposium. De presentatie van het onderzoek naar geefgedrag door huishoudens en vermogende Nederlanders vindt u hier. De resultaten van het onderzoek naar bedrijven, sociale normen rond filantropie en de trends in de cijfers van de bijdragen van huishoudens, bedrijven, en loterijen vindt u later op de Geven in Nederland website.

De Maatschappelijke Betekenis van Filantropie

De groeiende aandacht voor filantropie wordt meestal verklaard uit het feit dat de overheid moet bezuinigingen. Men vergeet echter dat de sector filantropie zich vanaf begin jaren ‘90 in rap tempo heeft ontwikkeld. Het “Geven in Nederland”onderzoek maakt deel uit van deze ontwikkeling. Van bezuinigingen was in die periode geen sprake, eerder het tegendeel. Particulier initiatief liet weer van zich horen. Met het sluiten van het Convenant “Ruimte voor Geven” in juni 2011 tussen het kabinet en de sector filantropie is een nieuwe situatie ontstaan, waarin filantropie de ruimte krijgt om meer maatschappelijke betekenis te krijgen.

Wat is de maatschappelijke betekenis van filantropie? Die vraag beantwoordt René Bekkers in zijn oratie. Bekkers is per 1 januari 2013 aan de Faculteit Sociale Wetenschappen van de Vrije Universiteit Amsterdam aangesteld als bijzonder hoogleraar Sociale aspecten van prosociaal gedrag. De leerstoel is mede mogelijk gemaakt door de Van der Gaag Stichting van de Koninklijke Nederlandse Akademie van Wetenschappen (KNAW) voor een periode van vijf jaar. Bekkers gaat in op de herkomst en bestemming van filantropie in de samenleving. Waarom zien we meer filantropie in sommige sociale groepen, landen en perioden dan in andere? In welke sociale omstandigheden doen mensen vrijwilligerswerk en geven ze geld aan goededoelenorganisaties? In welke mate en in welke omstandigheden zullen Nederlanders overheidsbezuinigingen op kunst en cultuur, internationale hulp en andere doelen compenseren?

De volledige tekst van de oratie vindt u hier.

Leave a comment

Filed under altruism, charitable organizations, corporate social responsibility, empathy, foundations, helping, household giving, law, methodology, philanthropy, principle of care, taxes, trust

How Incentives Lead Us Astray in Academia

PDF of this post

The Teaching Trap

I did it again this week – I tried to teach students. Yes, It’s my job, and I love it. But that’s completely my own fault. If it were for the incentives I encounter in the academic institution where I work, it would be far better to not spend time on teaching at all. For my career in academia, the thing that counts most heavily is how many publications in top journals I can realize. For some, this is even the only thing that counts. Their promotion only depends on the number of publications. Last week going home on the train I overheard one young researcher from the medical school of our university saying to a colleague “I would be a sucker to spend time on teaching!”

I remember what I did when I was their age. I worked at another university in an era where excellent publications were not yet counted by the impact factors of journals. My dissertation supervisor asked me to teach a Sociology 101 class, and I spent all of my time on it. I loved it. I developed fun class assignments with creative methods. I gave weekly writing assignments to students and scribbled extensive comments in the margins of their essays. Students learned and wrote much better essays at the end of the course than at the beginning.

A few years later things started to change. We were told to ‘extensify’ teaching: spend less time as teachers, keeping the students as busy as ever. I developed checklists for students (‘Does my essay have a title?’ – ‘Is the reference list in alphabetical order and complete?’) and codes to grade essays with, ranging from ‘A. This sentence is not clear’ to ‘Z. Remember the difference between substance and significance: a p-value only tells you something about statistical significance, and not necessarily something about the effect size’. It was efficient for me – grading was much faster using the codes – and kept students busy – they could figure out themselves where they could improve their work. It was less attractive for students though and they progressed less than they used to. The extensification was required because the department spent too much time on teaching relative to the compensation it received from the university. I realized then that the department and my university earns money with teaching. For every student that passes a course the department earns money from the university, because for every student that graduates the university earns money from the Ministry of Education.

This incentive structure is still in place, and it is completely destroying the quality of teaching and the value of a university diploma. As a professor I can save a lot of time by just letting students pass the courses I teach without trying to have the students learn anything: by not giving them feedback on their essays, by not having them write essays, by not having them do a retake after a failed exam, or even by grading their exams with at least a ‘passed’ mark without reading what they wrote.

Allemaal_een_Tien

The awareness that incentives lead us astray has become clearer to me ever since the time the ‘extensify’ movement dawned. The latest illustration came to me earlier this academic year when I talked to a group of people interested in doing dissertation work as external PhD candidates. The university earns a premium from the Ministry of Education for each PhD dissertation that is defended successfully. Back in the old days, way before I got into academia, a dissertation was an eloquent monograph. When I graduated, the dissertation had become a set of four connected articles introduced by a literature review and a conclusion and discussion chapter. Today, the dissertation is a compilation of three articles, of which one could be a literature review. The process of diploma inflation has worked its way up to the PhD level. The minimum level of quality of required for dissertations has also declined. The procedures in place to check whether the research work by external PhD candidates conforms to minimum standards are weak. And why should they, if stringent criteria lower the profit for universities?

The Rat Race in Research

Academic careers are evaluated and shaped primarily by the number of publications, the impact factors of the journals in which they are published, and the number of citations by other researchers. At higher ranks the size and prestige of research grants starts to count as well. The dominance of output evaluations not only works against the attention paid to teaching, but also has perverse effects on research itself. The goal of research these days is not so much to get closer to the truth but to get published as frequently as possible in the most prestigious journals. A classic example of the replacement of substantive with instrumental rationality or the inversion between means and ends: an instrument becomes a goal in itself.[1] At some universities researchers can earn a salary bonus for each publication in a ‘top journal’. This leads to opportunistic behavior: salami tactics (thinly slicing the same research project in as many publications as possible), self-plagiarism (publishing the same or virtually the same research in different journals), self-citations, and even outright data fabrication.

What about the self-correcting power of science? Will reviewers not weed out the bad apples? Clearly not. The number of retractions in academic journals is increasing and not because reviewers are able to catch more cheaters. It is because colleagues and other bystanders witness misbehavior and are concerned about the reputation of science, or because they personally feel cheated or exploited. The recent high-profile cases of academic misbehavior as well as the growing number of retractions show it is surprisingly easy to engage in sloppy science. Because incentives lead us astray, it really comes down to our self-discipline and moral standards.

As an author of academic research articles I have rarely encountered reviewers who were doubting the validity of my analyses. Never did I encounter reviewers who asked for a more elaborate explanation of the procedures used or who wanted to see the data themselves. Only once I received a request from a graduate student from another university who asked me to provide a dataset and the code I used in an article. I do feel good about being able to provide the original data and the code even though they were located on a computer that I had not used for three years and were stored with software that has received 7 updates since that time. But why haven’t I received such requests on other occasions?

As a reviewer, I recently tried to replicate analyses of a publicly available dataset reported in a paper. It was the first time I ever went to the trouble of locating the data, interpreting the description of the data handling in the manuscript and replicating the analyses. I arrived at different estimates and discovered several omissions and other mistakes in the analyses. Usually it is not even possible to replicate results because the data on which they are based are not publicly available. But they should be made available. Secret data are not permissible.[2] Next time I review an article I might ask: ‘Show, don’t tell’.

As an author, I have experienced how easy and tempting it is to engage in p-hacking: “exploiting –perhaps unconsciously- researcher degrees-of-freedom until p<.05”.[3] It is not really difficult to publish a paper with a fun finding from an experiment that was initially designed to test a hypothesis predicting another finding.[4] The hypothesis was not confirmed, and that result was less appealing than the fun finding. I adapted the title of the paper to reflect the fun finding, and people loved it.

The temptation to report fun findings and not to report rejections is enhanced by the behavior of reviewers and journal editors. On multiple occasions I encountered reviewers who did not like my findings when they led to rejections of hypotheses – usually hypotheses they had promulgated in their own previous research. The original publication of a surprising new finding is rarely followed by a null-finding. Still I try to publish null-findings, and increasingly so.[5] It may take a few years, and the article ends up in a B-journal.[6] But persistence is fertile. Recently a colleague took the lead in an article in which we replicate that null-finding using five different datasets.

In the field of criminology, it is considered a trivial fact that crime increases with its profitability and decreases with the risk of detection. Academic misbehavior is like crime: the more profitable it is, and the lower the risk of getting caught, the more attractive it becomes. The low detection risk and high profitability create strong incentives. There must be an iceberg of academic misbehavior. Shall we crack it under the waterline or let it hit a cruise ship full of tourists?


[1] In 1917, this was Max Weber’s criticism of capitalism in The Protestant Ethic and the Spirit of Capitalism.

[2] As Graham Greene wrote in Our Man in Havana: “With a secret remedy you don’t have to print the formula. And there is something about a secret which makes people believe… perhaps a relic of magic.”

[3] The description is from Uri Simonsohn, http://opim.wharton.upenn.edu/~uws/SPSP/post.pdf

[4] The title of the paper is ‘George Gives to Geology Jane: The Name Letter Effect and Incidental Similarity Cues in Fundraising’. It appeared in the International Journal of Nonprofit and Voluntary Sector Marketing, 15 (2): 172-180.

[5] On average, 55% of the coefficients reported in my own publications are not significant. The figure increased from 46% in 2005 to 63% in 2011.

[6] It took six years before the paper ‘Trust and Volunteering: Selection or Causation? Evidence from a Four Year Panel Study’ was eventually published in Political Behavior (32 (2): 225-247), after initial rejections at the American Political Science Review and the American Sociological Review.

3 Comments

Filed under academic misconduct, fraud, incentives, law, methodology, psychology