Penggunaan Null-Hypothesis Significance Tests (NHSTs) dalam penelitian sudah menjadi hal yang umum dilakukan oleh banyak peneliti untuk berbagai  bidang studi, termasuk ekonomika dan bisnis. Meski demikian, telah dilontarkan banyak kritikan mengenai penggunaan  NHSTs dalam penilitian karena beberapa kelemahannya. Dalam kuliah umum yang bertajuk “The Case Against Null-Hypothesis Statistikal Significance Tess: Flaws, Alternatives and Action Plan,” (30/04/14) Andreas Schwab, salah satu penulis dari jurnal Researchers Should Make Thoughtful Assessments Instead of Null Hypothesis Significance Tests memperdalam penjelasan mengenai hal tersebut.

Signifikansi dalam penelitian merupakan hal yang penting. Akan tetapi, hasil estimasi yang signifikan secara statistik belum tentu penting. Hal ini dikarenakan bahwa perspektif dari statistik formal sangat rentan sehingga hasil akhir yang didapat - meski telah signifikan - belum tentu terbukti benar. Hal ini ditunjukkan dari banyaknya penelitian yang menggunakan NHTs dan memiliki hasil akhir signifikan akan memiliki hasil yang berbeda jika dilakukan replikasi pada kemudian hari. Jika demikian, dapat disimpulkan bahwa hasil yang telah signifikan tersebut belum tentu kredibel.

Selain itu, hal yang menyebabkan NHTs menjadi bias adalah karena NHTs juga sangat dipengaruhi oleh jumlah data dan variabel. Ketika peneliti menambah jumlah datanya, ia bisa saja mendapatkan hasil signifikan. Padahal, sebelumnya ia tidak mendapati hasil tersebut. Penambahan variabel juga mampu membuat hasil estimasi yang tadinya tidak signifikan menjadi signifikan. Padahal, belum tentu variabel yang ditambahkan relevan bagi variabel yang diteliti. Menurut Schwab, NHTs hanya mampu menjawab apakah terdapat pengaruh antara variabel yang satu dengan variabel yang lain bukan pada seberapa besar pengaruh yang dimiliki. “NHSTs do not answer the questions we are really interest in,” tambah Schwab.

Oleh karenanya, terdapat beberapa alternatif pilihan yang dapat dilakukan oleh peneliti, khususnya dalam bidang ekonomika dan bisnis dalam menguji signifikansi dari hasil estimasi. Pertama, peneliti perlu menyesuaikan hipotesis dengan konteks penelitian. Peneliti sebaiknya dapat memaparkan variabel apa saja yang mungkin memiliki hubungan dengan variabel dependen yang diteliti. Hal tersebut dilakukan dengan melihat teori atau penelitian sebelumnya.  Peneliti juga perlu menggunakan effect size, yakni seberapa besar efek yang diberikan oleh salah satu variabel kepada variabel yang diteliti. Selanjutnya, peneliti dapat menggunakan baseline model untuk membandingkan data baru yang dimiliki. Terakhir, sebaiknya peneliti menggunakan model yang sederhana untuk mendukung generalisasi dan kemampuan penelitian agar dapat direplikasi di kemudian hari.

Sumber: Nadia/FEB