海军实用绩效测评手册开发
DTIC AD0018612 技术简报
一、文献信息与机构身份
1.1 基本著录
正题名：Development of Practical Performance Measures, Series 1953, Institute Report No. 4, Volume I
中文译名：实用绩效测评方法的开发（1953系列，研究所报告第4号，第一卷）
合同编号：Nonr-872(00)
委托方：美国海军人事局（Bureau of Naval Personnel）——人事分析处与心理科学处
执行方：海军研究办公室（Office of Naval Research）
承制机构：人类关系研究所（Institute for Research in Human Relations），费城
作者：Arthur Siegel（研究助理）/ Douglas Courtney（项目主任）
日期：1953年7月1日
DTIC入藏号：AD0018612
分发级别：公开
篇幅：两卷，第一卷含正文+附录共约300页
1.2 机构背景
1953年——朝鲜战争刚结束。美国海军面临一个实际问题：怎么知道一个兵&039;会干活&039;？传统的书面考试考的是知识（&039;知道该怎么做&039;），但知道不等于会做——一个航空结构机械师可能在笔试中答对所有题目，但到了机库却不会补一块蒙皮。海军需要&039;实操测试&039;（performance test）——让士兵在标准条件下实际做一件事，而不是在试卷上写一件事。
问题是：海军没有一套系统的&039;怎么造测试&039;的方法。每个军衔、每个专业该怎么造测试？谁来打分？打分人之间一致吗？没有手册。
海军研究办公室把这件事外包给了费城的人类关系研究所——一个做行为科学研究的非营利机构。项目主任Douglas Courtney和研究助理Arthur Siegel的任务是：(1)写一本&039;怎么造实操测试&039;的手册；(2)用这本手册在真实海军环境中造两套测试来验证手册能用。
二、核心内容：做了什么
2.1 一句话概括
研究者写了一本实操测试开发手册，然后在两个海军军衔（航空结构机械师和航空摄影师）上做了实地验证——用手册的方法造了16个实操测试，在4个海军基地做了两轮实地测试，验证了测试的效度、信度、区分度和可操作性。核心发现：经过最低限度培训的士官就能当测试管理员，且打分一致性和测试重测信度都达到可接受水平。
2.2 什么是实操测试
实操测试（performance test）的定义：&039;受测者在标准条件下实际做一件事或造一件东西&039;。与书面考试的区别：书面考试考的是&039;关于&039;一件事的知识判断（&039;关于补蒙皮你知不知道怎么做&039;）；实操测试考的是&039;做&039;这件事本身（&039;补一块蒙皮给我看&039;）。语言的角色被最小化——受测者不用写也不用说，只需要做。
五个用途：(1)评估训练和教学方法；(2)评估训练中的学员；(3)人员分类和岗位分配；(4)作为书面考试的效标（gold standard）来验证笔试是否考了该考的东西；(5)作为晋升&039;实操因素&039;的检查手段——晋升前必须证明实操能力达标。
2.3 手册怎么写的
手册的结构覆盖实操测试的全生命周期：什么情况下该用实操测试→怎么分解工作→怎么把工作变成测试→怎么定评分标准→怎么培训测试管理员→怎么验证测试质量。
关键设计原则：测试内容必须来自真实工作任务——不是编造的，而是从工作分析中提取的。评分必须是客观的——能用尺寸、时间、数量等物理量打分的就不用主观判断。手册的可读性——Flesch可读性得分测出来平均标准差约9，&039;人类兴趣&039;得分31.5±10.00——适合海军士官阅读。
2.4 两套测试：航空结构机械师和航空摄影师
第一套——航空结构机械师（AM）绩效测试组：8个测试，覆盖补蒙皮、铆接、管路更换、塑料件修理等。在孟菲斯海军航空技术训练中心（NATTU）开发——海军教官担任技术顾问。
第二套——航空摄影师绩效测试组：作为二级摄影师晋升的&039;门槛&039;测试。在彭萨科拉海军摄影学校开发——教官同样担任技术顾问。
开发流程：工作分析→任务分解→编写测试条目→专家审查→先导测试（各4个受测者：学徒/三等/二等/一等兵）→修改→正式测试。
2.5 两轮实地测试设计
第一轮（Field Test I）——&039;专家管理员&039;：在参与测试开发的教官自己当管理员。检验目标：测试本身能跑通吗？在两个作战中队（大西洋城海军航空站）做。
第二轮（Field Test II）——&039;最低限度培训管理员&039;：选了没参与过开发的士官（Chief Petty Officer），只给了最低限度的测试程序培训——用这些&039;新手&039;当管理员。检验目标：手册写得够清楚吗？不需要专家就能用吗？
关键设计亮点：两个管理员同时但独立打分——防止他们互相商量后修改分数。研究者作为观察员在场——确保管理员不交流。评分表在打分后立即收回——防止事后修改。
2.6 信度测量：三种信度
测试间信度（Inter-Examiner Reliability）：两个管理员同时但独立打分同一个受测者——他们的一致性是多少？用逐条目一致率而非总分组间相关——因为两个管理员可能在总分上一致但具体在哪些条目上一致各不相同。
测试内信度（Intra-Examiner Reliability）：同一个管理员在不同时间对同一个受测者或同一个成品的打分一致性——看一个管理员自己是否前后一致。
重测信度（Test-Retest Reliability）：同一个受测者在不同时间做同一测试——受测者的表现是否稳定。对其中两个测试做了重测——结果&039;中等偏高&039;。
2.7 核心结果
结果一：教官（参与开发的专家）当管理员时——完全胜任，打分一致性高。这验证了测试本身的质量。
结果二：士官（最低限度培训的新手）当管理员时——不能完全胜任测试管理，但打分一致性（测试间和测试内信度）达到可接受水平。意思是：他们可能在流程管理上出小问题（比如时间控制、指令传达），但在打分上是一致的——这正是手册设计的目标：评分标准足够客观，不需要专家判断。
结果三：受测者和管理员都觉得测试&039;看上去合理&039;（face validity）——测试内容看起来像真实工作，被测者和施测者都认为测试公平。
结果四：测试组内的8个测试&039;足够同质&039;且&039;有可接受的区分度&039;——能区分不同技能水平的士兵。
2.8 效度验证：合成测试 vs 真实测试
研究还做了&039;合成测试&039;（synthetic test）的效度验证——把多个实操测试的结果合成一个总分，看这个总分能否预测在真实工作中的表现。结果是肯定的——合成总分与真实工作表现正相关。
还检验了实操测试与晋升考试成绩的关系——作为&039;效标&039;：实操测试得分高的人在晋升考试中也得分高吗？如果两者一致，说明笔试考的是该考的；如果不一致，说明笔试考偏了。
三、故事：1953年的海军考试改革
1953年，费城。人类关系研究所的Douglas Courtney收到了海军研究办公室的合同——Nonr-872(00)。任务是给海军写一本&039;怎么造实操测试&039;的手册。
当时的海军有一套成熟的书面考试体系——每个军衔晋升都要笔试。但海军人事局越来越意识到一个问题：一个航空机械师在笔试中答对了所有关于补蒙皮的题目——但到了机库他真的会补吗？知道不等于会做。
Courtney和Siegel的第一步是去孟菲斯——海军航空技术训练中心。他们不是自己去造测试——而是让真正的教官参与造。教官知道什么工作最重要、什么操作最危险、什么错误最常见。研究者的角色是把教官的经验翻译成标准化的测试条目和评分标准。
他们造了8个测试给航空结构机械师用——补蒙皮、铆接、管路更换、塑料修理。每个测试都有详细的操作步骤、材料清单、时间限制和评分标准。评分标准尽量用物理量——&039;补丁边缘到原蒙皮边缘的距离不超过1/4英寸&039;——而不是&039;补得好不好&039;。
然后去彭萨科拉造航空摄影师的测试——拍照、冲洗、放大、修版。同样的流程：教官参与→标准条目→先导测试→修改→正式测试。
关键实验在两轮实地测试。第一轮：让参与开发的教官自己当考官——当然能跑通，因为他们自己造的。第二轮才是真检验：找了一批没参与过开发的Chief Petty Officer（士官），只给了最低限度的培训——&039;这是手册，这是评分表，按这个打分&039;——然后看他们打分一致性。
结果让研究者松了口气：这些&039;新手&039;考官在打分上是一致的——虽然流程管理有小瑕疵，但打分不跑偏。这正是手册设计的目标——评分标准足够客观，不需要专家判断。
最巧妙的设计是&039;两个考官同时但独立打分&039;——防止他们互相商量。研究者作为观察员在场，评分表打完立即收回。一个条目一个条目地比对两个考官的打分——不看总分相关（因为总分相关可能掩盖条目不一致），而是看逐条一致率。这是比&039;组间相关系数&039;更严格的信度检验——两个考官可能总分一致但在每个具体步骤上判断不同。
这份报告的尾声还做了一件事——把实操测试当&039;效标&039;来检验笔试：实操测试得分高的人在晋升笔试中也得分高吗？如果一致，说明笔试考对了；如果不一致，说明笔试考偏了。这是1953年的做法——今天叫&039;效标关联效度&039;（criterion-related validity）。
这本手册后来被海军单独出版。它的影响超出了海军——在1950年代，美国军方对&039;绩效测试&039;的系统化方法论还很少见。这本手册是&039;标准化实操测试&039;在军事领域最早的系统性尝试之一。
— 简报完 —
![[表情]](https://iyuedu.reader.qq.com/image/emoji/Emoj_84.png)
![[表情]](https://iyuedu.reader.qq.com/image/emoji/Emoj_12.png)
