提升研究结论可信性的策略
时间:2025-10-08 18:25 点击:
提高研究结论的科学性和可信性是学术研究的核心工作之一。这涉及到研究设计、数据收集、数据分析、结果呈现以及后续验证等多个环节。在多个环节中,如果要提升研究结论的可信性,我们所能做的就是减少获得错误答案的可能性。这就是为什么一个好的研究设计很重要。Rogers(1961)恰当地概括为:“科学的方法需要寻找真相是什么,防止自我创造性直觉所提出的我和材料之间的关系而被自我欺骗。”减少获取错误答案的可能性意味着关注研究设计的两个重点:可靠性和有效性。学者马克·桑德斯、菲利普·刘易斯、阿德里安·桑希尔在《经管研究方法——为学生量身定制》一书中,介绍了提升研究结论可信性的两种策略。 一、可靠性 (一)可靠性定义 可靠性是指数据搜集方法或分析程序用于提出一致结论的程度。通过下面三个问题进行评价: 1.在其他场合,这些方法能产生同样的结果吗? 2.其他观察值是否能获得类似的观察值? 3.原始数据是否透明? (二)对可靠性的威胁 Robson认为可靠性存在四类威胁: 第一类是主体或参与者的偏差。如果我们正在研究员工对工作和雇主的热情程度,则我们可能会发现,根据一个星期不同时间所完成的问卷会得出不同的结论。周五下午可能与周一上午所呈现的画面不同。这点应易于控制。我们应该选择一个“中立”的时间段——员工既不“高度”期盼周末,又不对摆在他们面前的工作周而情绪“低落”。 第二类是主体或参与者的偏见。被访问者所说的可能是他们认为老板希望他们所说的。这个问题尤其出现在一个具有独裁主义管理风格的组织中,或员工存在就业威胁时。研究者在设计研究时应注意这个问题。例如,我们可以采取详细的步骤以确保不愿意透露姓名的被访者接受问卷调查。为确保我们的数据所告诉我们的正是我们认为他们所要告诉我们的,我们分析数据时也应小心。 第三类是观察者偏差。在我们所从事的一项研究中,由我们中的三个人执行访谈,则获得答案至少潜在地存在三种不同的提问方式。在访谈时刻表引入高程度的结构,将减少其对可靠性的威胁。 第四类是观察者偏见。当然,可能有三种不同的方式对反馈进行解释。 二、有效性 (一)有效性定义 有效性是关于结论是否真正如其所看上去的那样。两个变量之间的关系是否是因果关系?如在电子厂的研究中,我们发现员工对新产品展览的冷淡不是因为员工的冷漠而是缺乏机会(展览设置在员工极少去的厂区)。在调查结论分析出来之后,对重点人群建立一项研究设计能将结论缺乏潜在的有效应最小化。 Robson(2002)也勾画了对有效性的威胁,这为思考这一重要主题提供了一个有用的途径。 (二)对有效性的威胁 1、历史 我们可能决定研究消费者对某特定组织生产的某一产品质量的看法。但如果研究是在一个主要产品被召回之后,则这可能对研究结论产生巨大且误导性的影响(当然,除非研究的具体目的是了解产品召回后消费者的看法)。 2、试验 我们的研究可能涉及计算电话销售人员用多长时间处理顾客的咨询。如果销售人员认为研究结果会在某些方面对他们不利,则这可能影响结果。 3、测量方法 电话销售人员可能在我们对销售人员进行第一次和第二次试验之间接收到一个新的指示,他们将利用每个机会向消费者转告这些新政策。因此,电话的时间可能比上次的要长。 4、失败率 这是指退出研究的参与者。我们的一位学生正在研究管理者管理风格对持续一年的管理发展项目的影响,对于他而言这是个重要的问题。 5、成熟度 在上面提到的管理发展例子中,一年中发生的其他事情可能对管理风格产生影响。 6、含糊的因果导向 这是一个很难的问题。一位兼职学生正研究她所在组织的绩效评价效果。她的结论之一是,绩效低的员工与消极的评价态度有关。她并不清楚,是绩效低导致消极的评价态度,还是消极的评价态度导致绩效低。 三、结语 综上,如果作者想要提高研究结论的可靠性,应尽量避免出现主体或参与者的偏差、主体或参与者的偏见、观察者偏差、观察者偏见等威胁;如果作者想要提高研究结论的有效性,应关注历史、试验、测量方法、失败率、成熟度、因果导向等问题。以上方法和措施有助于提高学术研究的质量,提高论文发表成功率。 |