資格認定の専門家たちが業界イベントに集まり、業界の動向や基準について議論する際、会話は必然的にある根本的な真実に焦点が当てられます。それは、プログラムの信頼性は、その試験問題の質に完全に依存しているということです。
質の高い認定試験の問題を作成するには、技術的な正確さと実務経験とのバランスをとることが必要です。そのためには、各分野の専門家である問題作成者が、自身の思い込みを脇に置き、受験者の視点に立って問題内容を見つめることが求められます。これにより、すべての問題が試験の受験資格に直接関連し、適切な能力を評価できるようになります。
Kryterion では、試験の質はその出題内容の質にかかっていることを理解しています。この概要では、妥当性、信頼性、公平性を備えた認定試験の問題を作成、改良、および検討するための基本的な原則について解説します。
多肢選択問題の構造を理解する
標準的な多肢選択式問題は、その信頼性、拡張性、そして客観的な採点方法により、資格認定業界において依然として主力となっています。この問題形式には、確固たる前提、議論の余地のない正解、そして厳格でありながらも公平な誤答が求められます。
もちろん、あらゆる試験問題の目的は、必要な知識とスキルを身につけている者（受験者 ）と、そうでない者（受験者 ）を見分けることにあります。適切に構成された問題であれば、十分な能力を持つ受験者は迷うことなく正しい答えを見極めることができます。逆に、準備不足の受験者は、誤った選択肢の1つに本気で引き寄せられてしまうでしょう。
プロットを書くための黄金律
前提条件は、質問の土台となります。これが分かりにくいと、受験者は実際の能力を発揮するよりも、構文の解読に時間を費やすことになってしまいます。その結果、技術的なスキルではなく、読解力を試すことになってしまう可能性があります。以下にいくつかのヒントをご紹介します：
1. 核心となる問題をすぐに明確にする：問題文には、問題を理解するために必要な情報がすべて含まれているべきです。理想的には、受験者が問題文を読むだけで、選択肢を見る前に正解を予測できるような内容であるべきです。例えば：
- 不適切な質問：ネットワークセキュリティについて、以下のうち正しいものはどれですか？
- より適切な質問：ピアツーピア型の企業ネットワークにおいて、最も安全なデータ通信を実現できる暗号化プロトコルはどれか？
2. 簡潔にまとめ、余計な部分を省く：余計な読み物は認知的負荷を高めます。シナリオ形式の問題を作成する場合は、問題の解決に厳密に関連する詳細のみを含めるようにしてください。不必要な名前、入り組んだ背景ストーリー、あるいは無関係なデータは追加しないでください。
3. 可能な限り否定形の表現は避ける： 「NOT」「EXCEPT」「LEAST」といった言葉は使わないようにしましょう。こうした表現は、受験者の脳に逆方向の処理を強いることになり、真実の記述が山ほどある中で誤った記述を探し出さなければならなくなります。必要になる場合もありますが、否定形の表現は、時間的プレッシャー下にある有能な受験者でさえもつまずかせる原因となることがよくあります。さらに悪いことに、こうした問題は、英語が第二言語である受験者にとって不利に働くことがよくあります。
実際には注意をそらすような、間違った答えを作り出す
SMEにとって、正解を作成することは通常、このプロセスの中で最も簡単な部分です。しかし、誤った選択肢を作成することこそが、真の難関となります。質の低い問題の特徴は、明らかに間違っていると思われる選択肢が並んでいることです。これにより、4択の多肢選択問題は事実上、コインを投げるようなものになってしまいます。以下の点に留意すべきです：
1. もっともらしい誤答を作成する：誤答の選択肢は、よくある誤解や、初心者が犯しがちなミス、あるいは時代遅れの慣行を表すものでなければなりません。もしその答えが冗談だったり、明らかに間違っていたり、文法的に不自然だったりすると、受験者 が即座にそれを除外してしまい、単なる偶然で正解する確率が高くなってしまいます。
2. 並列構造と長さを統一する：人間はパターンを認識するのが非常に得意です。もし正解が3行で非常に詳細な内容であるのに対し、3つの誤答がすべて短く曖昧な内容である場合、受験者 は長さだけに基づいて正解を推測してしまう可能性が高いです。すべての選択肢を、長さ、詳細度、文法構造においてほぼ同じに保つようにしましょう。
3. 「上記のすべて」および「上記のいずれでもない」を避ける：これらの選択肢は、試験の心理測定的妥当性を損なう。「上記のすべて」という選択肢の場合、受験者が少なくとも2つの選択肢が正しいことを知っていれば、3つ目の選択肢を検討することなく、安心して「上記のすべて」と推測できてしまう。 逆に、「上記のいずれでもない」の場合、その問題は、受験者 が実際に正解を知っているかどうかをテストできていないことになります。テストできるのは、提示された選択肢が間違っていることを知っているかどうかだけです。さらに悪いことに、もし正解が存在する場合、受験者 は、自分が望む正解が選択肢に含まれていなかったと主張できるようになってしまいます。
専門知識保有者（SME）によるレビュープロセス
問題の作成はあくまで第一段階に過ぎません。審査プロセスこそが、未完成の問題を信頼性の高い評価ツールへと磨き上げる場です。堅固な資格認定プログラムでは、受験者が問題を見る前に、各分野の専門家（SME）からなる委員会が、すべての問題を審査・議論・精査します。これには以下が含まれます：
1. 正確性に関する技術的レビュー：何よりもまず、レビュー委員会は、その解答が100％正確であり、正当化できる解答が1つだけであることを確認しなければなりません。しばしば、著者が誤った解答だと考えて記述した内容に対して、別の専門家が、その解答が実際には正しいとみなされ得る稀なケースを指摘することがあります。
2. 偏見と公平性の確認：試験問題は文化的に中立であり、偏見を含まないものでなければなりません。慣用句、地域特有の俗語、あるいは特定の文化に由来する言及は削除する必要があります。例えば、プロジェクト管理の概念を説明するために野球の比喩を用いると、米国の受験者には完全に理解できるかもしれませんが、海外の受験者にとっては大きな混乱を招く可能性があります。試験は、受験者の専門知識を評価するものであって、その文化的背景を評価するものであってはなりません。
リリース後：データに基づく分析
どんなに厳格なSMEによる検討プロセスを経ても、問題が実際の試験でどのような結果をもたらすかを絶対的な確実性をもって予測することはできません。そのため、質の高い認定プログラムでは、問題の継続的な分析が行われています。新しい試験形式が本格運用される前、あるいは初期のベータテスト段階終了後、心理測定の専門家は統計データを用いて、以下の点を含め、問題の健全性を評価します。
1. 難易度：問題の難易度は、平均してその問題を正解した受験者の割合、あるいは各問題を正解できる受験者の能力を推定することによって示されます。 正答する受験者の割合が高い場合、あるいは能力の低い受験者でも容易に正解を選べる場合、その問題は、受験者が実際に認定資格を取得する資格があるかどうかを判断するための実用的な基準としては、易しすぎる可能性があります。逆に、正答する受験者が少ない場合、あるいは能力が最も高い受験者だけが正解できる場合は、受験者を公平に評価するには難しすぎる可能性があります。
2. 識別度：問題の識別度は、能力の高い受験者と低い受験者を公平に区別できる度合いを示す指標である。 能力の高い受験者は問題を正解する頻度が高く、能力の低い受験者は、一見正しいように見える誤答選択肢のいずれかを選んでしまう傾向が強くなります。能力の低い受験者が問題を正解したり、能力の高い受験者が問題を間違えたりする場合、その問題の識別力は低いと言えます。これは通常、問題に欠陥がある、時代遅れである、あるいは出題されすぎていることを示しています。
3. 解答選択肢の分析：ある問題に4つの選択肢（A、B、C、D）があり、500回の試験を通じて1人の受験者も選択肢Cを選んだことがない場合、選択肢Cは「機能していない」解答である。 この問題は事実上、3択問題として機能しており、受験者が正解を当てずっぽうで選ぶ可能性が高まります。さらに、能力の高い受験者が同じ誤った選択肢を選んだ場合、その特定の選択肢が部分的に（あるいは完全に）正しい可能性を示唆している可能性があります。専門知識を持つ担当者はデータを精査し、必要に応じて、より適切に機能する選択肢に置き換えるべきです。
プログラムの評判を高めるにはKryterion
質の高い試験問題を作成することは、多大な労力を要し、協働を必要とし、継続的なプロセスです。最終的な成果物が資格認定業界の最高水準を満たすためには、専門知識を持つ専門家（SME）と心理測定アドバイザーとの間で、綿密な連携が不可欠です。
試験の問題は、その資格の価値を左右する究極の指標です。綿密な問題作成と、専門家による厳格なピアレビューに時間とリソースを投じることで、一般市民を守り、有能な専門家の能力を向上させ、その資格を業界におけるゴールドスタンダードとして確固たるものにすることができます。
Kryterion では、試験の開発が試験の実施と同様に重要であることを理解しています。包括的な Webassessor プラットフォームと、心理測定学のベストプラクティスに深く根ざしたノウハウを通じて、試験主催者が認定プログラムのライフサイクル全体を管理できるよう支援します。初期の職務分析から最終的なデータに基づく分析に至るまで、世界最高水準の試験を構築するプロセスを、私たちは皆様と共に歩んでいきます。
About Kryterion
Kryterion Inc.は、革新的な試験および資格認定ソリューションを提供するグローバルリーダーです。当社は、最先端の試験開発プラットフォームとマルチモーダルな配信ソリューションを通じて、さまざまな業界の組織が評価試験を開発・管理できるよう支援しています。2001年に設立されたKryterion は、安全で統合されたサービスと充実したサポートを提供しています。これにより、受験者は自身のスキルを実証し、世界トップクラスのキャリアで成功を収めることができます。
