Publication System Biases Associated with the Statistical Testing Paradigm*

Abstract. Running a test of significance has become equated with scientific rigour and the touchstone for establishing knowledge. This article focuses on two related publication system biases that have emanated from holding this episteme: the bias against publishing studies failing to attain statistical significance (i.e., “negative results”) and the tendency to equate scientific significance with statistical significance. It is argued that the emphasis placed on obtaining statistical significance is misguided because statistical significance is not always a prerequisite, nor is it ever sufficient in establishing research findings as scientifically valuable or meaningful. In addition, negative result studies are capable of making a valuable contribution to science and their systematic omission impedes the advance of the discipline. Consequently, statistical significance is found to be a poor criterion on which to base publication decisions. The article also surveys the budgeting, participation, and performance evaluation areas of managerial accounting research to determine whether evidence of these biases exists in accounting. The findings are consistent with the operation of both biases. Some approaches for counteracting or eliminating these biases are examined; as a first step, it is recommended that statistical significance be replaced with the criterion of reasonable precision. Résumé. Le test de signification est devenu synonyme de rigueur scientifique, la pierre de touche de la légitime connaissance. L'auteur se penche sur deux déformations connexes du système de publication qui découlent de cet épistémè: la tendance qui consiste à ne pas publier les études ne parvenant pas à une signification statistique (c'est-à-dire dont les résultats sont négatifs) et la tendance à associer signification scientifique et signification statistique. Selon l'auteur, on fait fausse route en accordant une telle importance à la signification statistique puisqu'elle n'est pas toujours indispensable et qu'elle n'est jamais suffisante pour garantir la valeur scientifique ou la signification des résultats d'une étude. En outre, les études dont les résultats sont négatifs peuvent apporter une contribution précieuse à la science, et leur omission systématique entrave les progrès d'une discipline. La signification statistique est donc un critère de piètre qualité sur lequel fonder les décisions relatives à la publication. L'auteur s'intéresse également aux domaines de la recherche en comptabilité de management qui touchent l'établissement des budgets, la participation et l'évaluation du rendement, dans le but de déterminer si l'existence de ces déformations s'avère en comptabilité. Les résultats corroborent la prégnane des deux déformations. L'auteur examine certaines méthodes visant à contrer ou éliminer ces déformations et recommande, dans une première étape, le remplacement du critère de la signification statistique par celui de la précision raisonnable.