概述:什么是长期追踪研究?
(封面来源:https://resources.pollfish.com/market-research/diving-into-longitudinal-surveys/)
长期追踪研究(longitudinal study) 是对一群研究对象进行长时间观察或资料收集的研究方式,主要探讨研究对象在不同时期的变化,现在也应用于变化测量、解释因果关系等研究。此类研究的数据收集往往会覆盖一段时间中的多个时间点,有的研究时间跨度甚至超过10年。
根据研究对象的选择方式可以分为三种类型:
- 时间序列研究time-series research: 研究者每隔一段时间收集一次相同横断面的样本资料。研究对象不需要是同样的人群或样本
- 追踪研究panel study:在不同时间点针对同样的人群或样本进行横断面资料收集,难度更高
- 世代研究cohort study:针对在特定时间有相似生命经验的人进行长时间的研究
下面的问题讨论将结合本次文献综述中具体阅读和讨论的文献展开,为了方便,后续指代具体文献将以数字编号代替,具体编号含义如下表所示。
1 | voice of hope |
---|---|
2 | A longitudinal study of the physical growth and health of post-institutionalised Romanian adoptees |
3 | Examining a Comprehensive College Transition Program: An Account of Iterative Mixed Methods Longitudinal Survey Design |
4 | The Munich Longitudinal Study of Giftedness and Talent |
5 | 不平等的童年 |
6 | A Longitudinal Study of Bullying, Victimization, and Peer Affiliation During the Transition From Primary School to Middle School |
7 | Cause or Effect? A Longitudinal Study of Immigrant Latino Parents’ Aspirations and Expectations, and Their Children’s School Performance |
8 | Continuity and Change in the Life Story: A Longitudinal Study of Autobiographical Memories in Emerging Adulthood |
9 | Effective Instructional Time Use for School Leaders |
10 | The relationship between perfectionism, agency, and communion |
11 | The role of future work goal motives in adolescent identity development |
12 | Untangling the Meanings of Justice: A Longitudinal Mixed Methods Study |
13 | A Longitudinal Hierarchical Linear Model for Estimating School Effects and Their Stability(1989) |
14 | Academic Trajectories of Newcomer Immigrant Youth |
15 | Exploring the effects of project-based learning in secondary mathematics education |
16 | Making It (or Not) on a Dime in College: Implications for Practice |
17 | In and out of the STEM pipeline – a longitudinal study of a misleading metaphor |
18 | A Longitudinal Study of Negative Life Events, Stress, and School Experiences of Gifted Youth |
19 | Socioeconomic and Racial/ethnic Gaps in Student Dropout Risks: A Longitudinal Model to Examine the Differential Effects of Financial Aid |
20 | Developing an integrated self: academic and ethnic identities among ethnically diverse college students |
21 | Teacher-Student Support, Effortful Engagement, and Achievement |
22 | A Longitudinal Study of Upper Secondary Students’ Identity Work When Choosing Higher Education |
长期追踪研究适合什么样的研究问题?
对于任何研究来说,明确的研究问题和研究目的是第一步。在4月13日与向芯老师的交流中,向老师提到,对于人员变动频繁的公益机构而言,长期追踪研究是一个成本极高的研究方法。对我们而言,不应该为了长期追踪研究而研究,或许此处我们应该讨论“什么样的研究问题必须用长期追踪的方式来研究”,而非“长期追踪研究适合什么样的研究问题”。先想清楚研究问题,再根据我们的问题决定采用的研究方法。
这并不是一个有现成答案的问题,曾经有学者对于已有的教育领域相关的长期追踪研究进行整理(The use of longitudinal survey data in education research),总结了7个长期追踪研究的话题:教育期望、预期和学业成就;与教育获得相关的因素和驱动因素;能力分组和认知能力发展;专业选择;学校生活;劣势群体;行为与人格。但是这样的分类十分宽泛,以至于最后我们可能发现所有的话题可能都会与之相关,并不能在我们为研究话题进行方法选择的时候提供有力的支持。
此处我们将基于阅读的22篇文献展开分析,期待从中获得“什么问题必须用长期追踪的方式来研究”这一问题的答案——具体的思考过程很简单,只需要在阅读的过程中思考“如果这篇文献不用长期追踪的方法,会做成什么样?”这个问题即可。
- 本身的研究对象就是“xx一段时间中发生了什么变化”:学生时代是一个充满了变化的时代,在这个阶段中研究者可以关注各式各样的特征或指标是如何变化的,这可以是学生内在的人格特点、认同感、对于某件事的看法,也有可能是外部的客观的如其学业表现、就学经历等,当研究者想要关注的话题是在一段时间中的变化本身,想要了解随着年龄增长、年级增加以及升学、考试等事件的发生,研究对象发生了哪些变化以及影响这些变化的因素,就必然需要为其研究引入时间因素。
- 值得注意的是,这一类研究并不是必须使用longitudinal study的,我们也可以在这段时间结束的时候找到我们的研究对象,通过回溯性研究进行数据收集,如叙事性的自传、访谈,甚至邀请研究对象阐述过往情况的问卷,都可以达到数据收集的目标。但是,回溯性研究收集到的数据质量或许并不那么理想,对于过去的回忆很有可能是模糊的,阐述的时候也有可能语焉不详,回忆的内容也可能受到当下状态的影响。
- 这一研究问题往往是围绕相同的变量或者相同的问题在不同的时间中进行反复的测量与数据收集,并关注数据之间的差异,在讨论差异的时候也需要与研究对象在研究期间的生活经历关联起来。
- 【哪些研究属于这一类型】
- 2:研究儿童发展过程中的physical growth与健康情况
- 6:关注从小学升入初中这一转变过程中同辈人际关系、霸凌等的变化
- 8:探究青年在不同时间写下的自传式回忆的差异
- 13:因为要研究学校对于学生学业表现影响的【稳定性】(如果不探究稳定性那么该研究可以不使用longitudinal)
- 20:随着大学年限增长,专业认同与ethnic identity awareness的变化以及之间的关系
- 关注“某个变化是如何产生的”:这个类别与上一个类别的问题本身就指向了“变化”,不同的是上一个类别关注的是同样的指标/特征在不同时间的不同状态,主要采用同样的数据收集方式在不同时间点进行收集并关注期间差异,质性与定量的方法都有发挥的余地。而本类别则更为微观,关注某一特定变化的具体发生机制,因而其研究周期往往与该变化持续的时长一致,研究目标不是关注差异的特征,而是关注差异的产生机制,质性研究方法在这一个类别会发挥更多的用处
- 同样地,这类问题也可以使用回溯性研究收集数据,但是对于时间跨度较大的变化产生过程,采用回溯性研究的方法很有可能让研究者无法获得变化产生机制相对精确和完整的全貌。
- 【哪些研究属于这一类型】
- 1:追踪参与者对于学校、职业、女性角色的思考的发展 - 关注对于身份、选择等的思考和态度的变化
- 4:探究在资优生成长过程中会受到哪些外部因素的影响,自己的人格特质有何变化(基于一个已设计的模型)
- 12:探究司法过程开始、结束、结束之后,受害者的公平感知如何变化,通过什么机制变化
- 14:探究移民青年是如何适应新的国家和学习环境的。探究适应的过程本身
- 17:STEM学生未来的职业/专业选择-通过密集访谈来梳理变化的具体路径
- 18:试图寻找负性事件对于gifted students的成长以及学业表现的影响
- 22:探究高中生最后高等教育项目的选择是如何做出来的(关注做决定的过程)
- 研究的不同变量需要在不同时间收集****:或许你想要研究高中入学时的某个状态对于高中毕业后的某个特征的影响,或许你想要研究高中历年的某个指标对于高中毕业或大学的某个经历的影响——你想要研究的不同变量发生在跨度较大的不同时间,其中或许某个变量本身随着时间持续变化,你又希望避免因为回忆数据的不准确带来的误差,那么这种情况下,长期追踪研究便是有必要的。
- 这类研究可以采用定量也可以采用质性的研究方法,但值得注意的是你可能在不同的时间需要采集不同的数据,需要运用不同的方法。
- 此外,也需要注意,变量到底在什么时候收集也是需要考虑的问题。上述的高中每年的某个数据特征、高考毕业后的某个选择,都自带非常明确的时间属性。但是一些情况,如干预实验中,需要考虑研究者要收集的因变量本身需要一定时间才可以体现出差异。
- 【哪些研究属于这一类型】
- 1:高中和大学经历对于职业选择的影响 - 高中经历和大学经历的数据采集与职业选择的数据采集不在同一时间
- 16:大学入学的时候financial burdens如何在后续影响了学生的大学生活以及体验
- 论证因果关系或更复杂的时滞效应:横断面研究往往只能得到变量与变量之间的相关关系,因此也有不少学者通过纵向研究收集历时性数据,以进行因果关系的论证,或者了解数据之间的时滞效应(即过去某一时刻的某个变量影响了未来某个时刻的某个变量)
- 【哪些研究属于这一类型】
- 7:家长的教育期望与孩子的学业成就,研究者通过纵向研究了解了二者之间的因果关系
- 9:对于学校校长行为的观察,结合学校的实际学业数据,了解行为对于学校成绩的影响及时滞效应
- 10:完美主义对于地位、社区关系等的影响,通过纵向研究了解其中时滞效应
- 11:人生目标的不同种类以及个体认同感
- 15:是否参与PBL项目对于学生成绩、动机的影响
- 19:不同SES、种族的学生,不同类型的financial aid对于其辍学率的影响
- 21:师生交互情况、学生学业投入与表现之间的关系
如何寻找participants?一些注意事项
不管是质性还是定量研究,如果不是使用现成的数据库(这种情况下,收集数据的人已经帮你处理好了选择研究对象的问题),都需要仔细思考如何为自己的研究选择研究对象。
阅读这22篇追踪研究,可以了解到研究者对于研究对象选择的考虑。纵然其研究话题、研究的群体有所不同,采用的方法各异,在选择研究对象时依然有诸多相似的考虑,在此总结一二。其中部分考虑是对于任何研究都需要关注的(第1-4项),也有一些是在进行longitudinal study的时候需要额外关照的(第5-6项)。
由于诸多研究participants部分主要介绍的是挑选流程,本部分的要点总结加入了较多写作者的个人理解。本部分也将不再像“研究问题”部分那样将所有研究逐个罗列,而是以举例为主。
- 1.研究对象需要贴合研究问题。这应当是选择研究对象的首要考虑问题,因而研究问题也成为了选择研究对象的前提(实际上,研究问题or研究方向是一切的前提;操作中也可能因为方法、可触达的对象等对于初始研究问题进行调整,但是研究问题应当是出发点)。当我们知道自己要研究哪一个群体,也就可以开始思考和设计相应的触达和抽样策略。
- 比如在一个关于“拉丁裔移民”的教育期望和孩子学业表现的研究中(7),研究者选择一个拉丁裔移民较多的地区,向该年所有即将入学幼儿园的拉丁裔家庭发送了邀请
- 有的时候我们需要的研究对象并不能简单从客观可获得的信息进行区分,此时则需要在研究中引入identification process,如慕尼黑模型研究中研究者需要跟踪gifted youth(4),他们在正式追踪之前使用了一个测试进行identify。当然,是否要自己介入进行identify的答案并不是必然的,自己进行identify可能会引发更多关于信效度、随机性的考虑。如另一个关于gifted youth的研究中,研究者则直接采用了“被选入特殊的gifted项目的学生”作为研究对象(18)。
- 2.科学严谨的抽样策略。虽然,要想真正做到科学是很难的。
- 理论上,所有的定量研究数据收集都应该采用某种概率抽样策略,包括简单随机抽样、系统抽样、分层抽样、整群抽样,当然,在教育领域研究的实际操作中,研究者往往是因为某些地理、经济发展因素选择了一个地区甚至几个学校,再在可操作范围内按照名册进行随机抽样(可以看到有的研究在地区内选择学校时就已经引入了名册进行随机选择,有的则不是)。当然,对于无法随机抽样的层级进行选择逻辑的阐述(如地理因素、经济发展因素)并不只是强行解释,这也可以帮助我们避免可能产生的误差。
- 相对来说,质性研究对于抽样的标准会有适当的放宽。理想情况下研究者还是会希望使用概率抽样获得样本,但因为研究对象的招募难度,非概率抽样如滚雪球抽样、方便抽样等也会被使用。在这些情况下,研究者需要通过一些基础人口学变量与关键控制变量的描述性统计说明样本的合理性,也需要对于自己的研究发现进行饱和度检验(虽然大多数研究都缺少了这一步骤)。
- 3.考虑研究变量与控制变量。如果研究者本来打算研究某个变量或控制某个变量,但是研究对象在该变量上高度同质化,那么很有可能就无法得到想要的结果了。比如关于gifted youth成长过程中负性事件对其未来成就的影响的研究中(18),研究者最后并未收集到underachiever的反馈,导致他无法讨论负性事件如何指向achieve或underachieve
- 在某些质性研究中,或许研究之处研究者并没有特别明确的问题和变量,如Erickson’s approach,但是这样的质性研究往往需要研究者在数据收集过程中持续反思并逐渐明确问题,且有方向地持续补充数据。
- 4.获得同意。研究伦理也是招募研究对象过程中的重要内容。在根据前面步骤找到研究对象后,说明数据收集可能涉及到的内容、需要其投入的时间以及相应的隐私保护策略,并在获得对方同意的情况下才开展研究,是必要的。
- 一个疑问:18岁以下的学生需要获得家长同意才行吗?
- 5.长期追踪研究中,能够坚持完整个研究的比例可能并不高。从这22个研究来看,其中使用问卷或逐年访谈进行持续追踪的研究,最终完成率多在60-75%之间。长期追踪研究的高成本,一方面体现在要求研究者长时间的、持续的投入上,另一方面也体现在研究对象能完成研究的比例较低上。较低的完成率要求研究者在最初招募对象时留有一定余量,也要求研究者审视退出研究者的特征,确保他们并未对研究增添额外的系统偏误。
- 在留有一定余量之外,研究者也可以考虑尽可能提高这一完成率。从已有研究来看,完成率的提高或许与间隔设计、参与研究的难度、研究者与研究对象之间的连接关系等有关。如关于校长的一对一观察(9)、关于司法过程的深度跟踪访谈等研究(12)都没有明显的研究对象流失的情况。
- 6.考虑长期追踪研究中,研究对象可能经历的变化。对于cohort study而言,研究者本身就需要在不同横断面去针对具有相似生活经历的研究对象展开调查,如何界定这个群体十分关键。而在panel study中,跟踪的对象可能在研究过程中经历一些较大的变化,如研究本来关注某个特殊班型的学生,但在某个分班活动中可能出现了一些人员流动,那么被分出去的人是否继续参加研究,新加入的人是否要被研究覆盖,都是需要去考虑的问题。
长期追踪研究中的研究方法
这22个长期追踪研究运用了各式各样的定量、质性或混合的研究方法,这些方法可能为后续我们的长期追踪研究设计提供一些参考。此处将整理文献中采用到的数据采集及分析方法,但不会做特别详细的方法论介绍。关于方法论的学习将在后续进一步确定我们的研究问题后基于共学展开。
质性研究方法
- 各种访谈
- 一对一访谈:
- 自传式访谈
- 密集访谈
- focus group interviews(研究3)
- 一对一访谈:
- case study
- 在地观察:研究6、9
- 选择事件、location
- 编码策略(间隔多久,如何编码)
- diaries
- 研究6通过每月一次的diary来了解研究对象的被霸凌情况(带有guided question的diary)
- journaling data(研究16)
- email response
- 研究22:在访谈间歇通过邮件了解对方生活近况
- life story
- 研究8:在不同的时间针对相似话题进行life story写作
定量研究方法
数据收集
各式各样的问卷
- 根据研究问题、变量而使用不同的问卷。
- 成熟量表、自编量表、从大规模调查量表中选择题目(13)
- 根据研究需要设计时间间隔,多为一学期一次、一学年一次或者更低频率
checklist
- 研究18通过checklist了解研究对象经历的事件
- checklist的设计很重要,该研究存在部分事件并未被list涵盖的情况
administrative data
- 如成绩、课程选择、班级变化等,往往以学期为单位收集
- 需要获得管理者的同意
数据分析
事件史分析
结构方程模型
迟滞交叉模型
混合研究设计
混合研究指在同一个研究中同时引入了定量的与质性的数据收集或分析取向,22篇longitudinal study中一共有12篇采用了mixed-method design。而我们则关注在具体研究中研究者是如何进行混合的,非标准化的、样本量相对较少的质性数据与标准化的、高度概括化的、可以大样本的定量数据可以如何被整合在一起?
基于这些混合研究设计,我们总结了三种定量与质性进行混合的方式:
通过质性方法收集数据纳入定量模型。在这种混合方式中,研究在数据收集阶段既使用了问卷等方式收集定量数据,也通过访谈、观察等质性研究方法收集了定性的数据,研究者往往会通过一个标准化的编码流程将定性数据进行编码,并在最后的分析阶段与定量数据一同进行分析。这种取向需要质性研究方法与定量研究方法的样本一致,样本量会因为质性方法而有所减少。但为了数据的精确性和客观性,或因为某些数据无法通过问卷等方式获得,仍然有不少研究采用了这种方法。
回答不同的问题。一个大的研究话题下往往会有细化的小问题,比如针对一个问题我们可以去思考是什么样的,以及为什么会这样,可以关注不同经历的学生成绩产生了什么变化,以及为什么会这样变化——在这样的情况下,不同的问题则可以交给不同的数据进行回答,一般来说研究者采用定量的研究数据描述变化和差异,并通过访谈、观察等定性数据解释为什么。在这个过程中定量研究与质性研究的样本可能会根据要回答的问题不同而呈现出差异。
交叉说明同一个问题。也有部分研究者会针对一个研究话题同时使用定量数据与定性数据呈现其不同侧面,但是在我们本次阅读的文献中,这样的案例数量较少。如关于gifted child成长过程中经历的负性事件研究中,研究中同时使用checklist数据(定量)和开放式问卷(定性)阐述学生在成长过程中遇到的负性事件,定性数据呈现了生动具体的故事,而定量数据则强调了这样的事件的频率。
下面将针对全部12个混合研究设计进行案例分析,开头数字编号代表研究案例序号:2: 回答不同的问题:健康和physical growth的情况以及其中的medical problems
4:回答不同的问题:量表:gifted youth成长过程中个性、成绩、环境因素等的变化,访谈:为什么有的人underachieve或经历严重焦虑
6:通过质性方法收集数据纳入定量模型。学生是否bullying或者victimization,通过直接间接观察获得数据。
7:通过质性方法收集数据纳入定量模型+回答不同的问题:通过访谈了解家长的aspiration和expectation,结合学生的school performance进行因果分析,同时通过访谈回答家长的期望为何如此的问题
9:通过质性方法收集数据纳入定量模型+回答不同的问题:通过观察和编码量化校长的time usage,结合学校school performance进行分析。发现classroom walkthrough会对于学生成绩有负向影响,就针对这个行为展开了访谈,了解其原因和动机
10:通过质性方法收集数据纳入定量模型。通过访谈和编码的方式测量研究对象对于agency(成就、责任感、地位、自我掌控、权力)以及communion(爱与友情、对话、照顾、共同体)等是否有positive或negative的情绪反应,用这个数据与完美主义测量数据进行定量分析
11:通过质性方法收集数据纳入定量模型。通过访谈对于其intrinsic motive for work goal进行编码,而后纳入定量模型进行测量
14:通过质性方法收集数据纳入定量模型。interview的数据收集模式,定量的分析模式(潜类型分析)
15:回答不同的问题:收集一些量表以及表现数据,通过访谈和观察了解其学习动机等。最后的结论呈现类似于一个评估报告,在成绩分析等部分使用了定量数据,在学习动机方面则使用定性数据进行论证。
16:交叉说明同一个问题+回答不同问题:通过问卷、访谈、online journaling data进行数据收集,其中journaling data进行编码后与问卷结果进行了量化的分析,在关于打工情况、借钱情况方面用数据进行了印证,同时在打工、借钱,如何进行决策,这些因素如何影响大学体验方面使用访谈和博客数据进行了分析。
17:通过质性方法收集数据纳入定量模型+回答不同的问题:通过密集访谈、量表进行了数据收集,对于访谈编码后量化分析呈现了学生的选择路径变化及其稳定性,并进行了个案分析;此外基于访谈数据回答了在做选择以及做转变的时候的考虑
18:交叉说明同一个问题。通过open-ended questionnaire与每年的life events checklist共同说明gifted child成长过程中会经历的负性事件及其给这个群体带去的压力