引き続き、レスリー・トーマス博士のテスト出版社協会大会2019でのプレゼンテーションから4つの抜粋のうちの2つ目をお届けする。そのプレゼンテーションのタイトルは 資格試験成功の不変の4つの法則：サイコメトリアンが語る.本日のビデオは、「法則2：始める前にプログラムの目標と主要な決定を文書化する」に焦点を当てています。ビデオの下にトランスクリプトがあります。
ビデオのトランスクリプト
認定試験合格の不変の4つの法則：心理測定士が語る
法則その2: 始める前にプログラムの目標と主要な決定事項を文書化する
レスリー・トーマス博士
最高心理測定責任者
Kryterion株式会社
さて、資格を開発しようと決めました。市場調査も終了しました。テスト開発を始める前に、プログラムの目標と主要な決定事項を文書化することを強くお勧めします。
スライド #9:法則 #2: 開始する前にプログラムの目標と主要な決定事項を文書化する
- 「動く標的症候群」を防ぐために、主要なプログラムパラメータについて事前に関係者の合意を得る
- 試験の目的
- 対象者（職務など）
- 主な視聴者と二次的な視聴者がいる可能性がある
- 職務は組織によって異なるため、主要な職務をリストアップする
私が「動く標的症候群」と呼ぶものを避けるために、始める前に利害関係者の同意を得る必要があります。
とらえどころのない動く標的
何年も前、私は認定スポンサーであるテクノロジー企業にニューヨーク州ロングアイランドに連れて行かれました。世界中から 20 人の専門家が飛行機でやって来ました。
私はちょうど RFID テクノロジーを扱う資格認定プログラムに携わり始めたところでした。
当時、この資格はテクノロジー企業のソフトウェアのベンダー固有のものとして開発されていました。しかし、CEO は予告なしに、この資格を業界ベースの認定資格にし、ベンダーに依存しないものにしたいと決めました。その後の 3 日間がどれほど忙しかったかは想像もつきません。私たちは基本的に、その時点までに完了していた作業をすべて破棄し、最初からやり直しました。
認定成功のこの第 2 の法則は、テスト開発を開始する前に関係者が合意しなければならない目標と重要な決定を中心に据えています。ここで言う関係者とは、プログラムの方向性を逆転させることも含め、将来的にプログラムの方向性に影響を与える可能性のある人を指します。
したがって、始める前にこれらの重要な事項を事前に決定しておく必要があります。
試験の目的と試験の対象者について、受験者自身と他の関係者全員が明確に理解しておくことを常にお勧めします。
試験を開発する場合、多くの場合、実際にターゲットとする主な職務があることに留意してください。また、副次的な職務も念頭に置いている場合があります。これらの副次的な職務に就いている人も試験を受けることはできますが、実際のターゲット市場ではありません。
市場を知る
テスト開発を開始する前に、ターゲット市場が明確に定義されていることを確認してください。その市場がプログラムの焦点となるためです。
また、皆さんもご存知のとおり、職務内容は会社によって大きく異なるため、市場では混乱が生じることもあります。
私がいつもお勧めしていることの 1 つは、職務の主な責任をリスト化することです。これはマーケティング チームにとっても非常に役立ちます。
起こりうる最悪の事態の 1 つは、資格認定プログラムを開始し、対象職務に就いている人に試験を受けてもらったところ、その試験では自分が毎日行っている職務とはまったく異なる職務が問われていたことに気付くことです。
職務は組織によって、特に小規模組織と大規模組織の間では大きく異なります。こうした違いを理解することは、より優れた製品を作成するために不可欠です。
スライド 10:法則その 2: 開始する前にプログラムの目標と主要な決定事項を文書化する
- 最低限必要な資格を持つ受験者（MQC）の説明 - 最低限必要な能力を定義し、試験の全体的な難易度を定義します。
- 教育/トレーニングのレベル、既存の知識/コースワーク
- 実務経験時間数または年数
- 実装/手術の数
- 援助の有無にかかわらず実行できる仕事内容
MQCを知る
もう一つ非常に重要なことは、最低限の資格要件を満たす候補者 (MQC) の説明です。皆さんのうちどれくらいが MQC の概念を使っているかはわかりませんが、これは標準設定プロセスでよく使われます。
私たちの開発手法では、テスト開発プロセスの最初にこれを使用します。これは基本的に、資格を取得するのに最低限必要な資格を持つ人の概念的な定義です。これにより、パフォーマンスの基準、試験の難易度が設定されます。マーケティングで使用するペルソナのようなものです。
この人物について話すとき、多くの場合、教育やトレーニングのレベル、または持っているかもしれない既存の知識の観点から話します。つまり、この人物は特定の大学のコースを修了している、または 1 年間の実務経験があると言うかもしれません。実務経験の時間数や年数について話すこともあります。特に医療分野では、経験は監督下での 250 時間の実務経験と定義される場合があります。
ソフトウェアやヘルスケアの分野では、経験は実装数や手術数など、意味のあるものとして定義されることがあります。人それぞれ少しずつ違うので、よく考えなければなりません。私たちは、この人がパフォーマンスの基準として誰なのかを専門家がレベル設定できるように支援しようとしています。彼らにとって適切な難易度を判断しようとしています。
また、どの仕事の活動が、援助や大人の監督の有無にかかわらず実行可能か、実行不可能かを決定する必要があります。
これらは MQC の説明に含まれる重要な事項の一部です。説明が重要なのは、試験の難易度を設定するためです。
開発プロセスを開始するときは、1 年間の経験でこれらの仕事でどのような種類の職務活動を行うのかを検討します。
1 年目にはどのような知識とスキルが必要でしょうか。その後、関係者がやって来て、「これは 1 年目の人ではなく、5 年目の人向けだと思います」と言ったとします。すでに開発を開始している場合は、戻って開発プロセスを最初からやり直す必要があります。
したがって、試験の難易度に影響を与えるもの、特に経験レベルのようなものについては、プロセスの開始時に明確にしておく必要があります。たとえば、1 年間の経験を持つ人向けに開発された試験 (基本的にはエントリーレベルの試験) は、10 年間の経験を持つ人向けに開発された試験とは大きく異なるからです。
スライド 11:法則その 2: 開始する前にプログラムの目標と主要な決定事項を文書化する
その他の潜在的に重要なプログラムパラメータ
- ベンダー中立 vs. ベンダー固有
- 米国と国際（業務範囲、法律、規制）
- 認定の取得を目指す（例：ANSI/NCCA） – 必要な内容、費用、スケジュールを理解する
- 参考資料と実用知識
パラメータ
したがって、他の潜在的に重要なプログラム パラメータには、ベンダー中立かベンダー固有かが含まれます。プログラムが米国向けか国際向けかによっても影響があります。国際向けであれば、たとえば医療を扱う場合、業務範囲に違いが生じることがよくあります。また、規制上の問題も異なるため、資格認定プログラムに OSHA 規制への準拠の確認が含まれており、国際展開することに決めた場合は、その点について少し検討したほうがよいかもしれません。
検討すべきパラメータの完全なリストを挙げることはできませんが、これらは、長年にわたり、いわば「落とし穴」となってきたものの一部にすぎません。これらは、最初によく検討すべき事項です。後になってこれらの事項に対処するには、ほとんどの場合、大幅なやり直しとかなりのコストがかかるからです。
認定
また、認定を取得したい場合、ANSI と NCCA は私たちの業界で最も人気のあるオプションです。ANSI または NCCA 認定に関する電話が何件もかかってくるのですが、その数は数え切れません。しかも、その電話は波のように押し寄せてきます。私は「素晴らしいですね。これとこれとこれをやりましたか?」と言いますが、彼らは「いいえ」と言います。そこで私は、「まあ、少なくともあと 1 年は開発期間があります。認定までにはおそらく 1 年半から 2 年かかります」と言います。
したがって、認定に何が関係するかを理解する必要があります。また、これらの組織は、十分な理由から、トレーニングと認定、つまり資格認定機関の間にファイアウォールが存在することを確認したいと考えているため、設定方法という点で構造にも影響します。何が関係するかを理解してください。
また、設計作業の最初に行うときは、何が範囲内で何が範囲外かを明確にしてください。試験で測定していないものが、測定しているものと同じくらい重要な場合もあります。そのため、その点を明確にしておくことは非常に重要です。
スライド12:法則その2 始める前にプログラムの目標と主要な決定事項を文書化する
継続教育と再認定の要件
- 必要なことを伝え、追跡/検証するプロセスを用意する
- テストのメンテナンス/アップデート
- 試験が期待通りに実行されていることを確認するためのヘルスチェック
- 実践/技術の変化を反映したコンテンツの更新
- テストのセキュリティを強化するためにコンテンツを更新する
その他の考慮事項
最初に本当に考えるべきもう 1 つのことは、継続教育と再認定の要件です。これが重要な理由は、最初の受験者がいると、時間が刻々と過ぎていくからです。突然、「さて、再認定や継続教育のために何をすればいいのだろう?」ということになります。
プログラムを設計する際には、資格を最新の状態に保つために何が必要か、それをどのように追跡するかをよく考えてください。資格保有者にそれを明確に伝える必要があります。
テスト メンテナンスの更新は、IT/ソフトウェア業界で働くすべての人にとって重要です。ほとんどのプログラムでは、プログラムの量に応じて、毎年、あるいはもっと頻繁にヘルス チェックを行う必要があります。テストが期待どおりに実行されていることを確認するだけです。
また、コンテンツの更新も必要になります。これは、IT/ソフトウェア業界特有の課題です。コンテンツは常に古くなります。そのため、特に大手の IT/ソフトウェア プロバイダーにとって、試験を最新の状態に保つことは大きな課題です。以前は、リリースの公開時期やメジャー リリースかどうかに応じて、3 か月または 4 か月ごとにリリース サイクルを実行しようとしていました。現在、多くのプロバイダーが継続的デプロイメントと呼んでいる方法を採用しており、継続的にリリースをリリースしています。これは業界全体にとっての課題であり、頻繁にテストを更新すると予算、コスト、スケジュールに影響するため、検討する必要があります。
また、テストのセキュリティを強化するために、コンテンツを更新する必要があります。テストに同じ内容が何度も何度も含まれていると、受験者はそれを暗記するだけになります。受験者の肩越しに監視する世界最高の監督技術を備えていても、受験者は暗記することができます。それを止めることはできません。
スライド13:法則2 開発前にプログラムの目標と主要な決定事項を文書化する
- 決定事項を文書化して共有します。期待を管理します。
- 主要なプログラム決定に関する利害関係者の合意を確保し、「動く標的」症候群を防ぐ
- 中小企業がMQCに焦点を合わせ続ける
- マーケティング活動に情報を提供する - 試験の目的、スコアの意図された意味、スコアの使用方法と使用すべきでない方法、対象となる職務、測定されるものと測定されないものを明確にする
すべての決定事項を文書化します。私たちは、決定事項を記録するためにテスト定義ドキュメントと呼ばれるものを使用します。私は常に、決定事項が下されたら、それを文書化して送信することを推奨しています。主要な利害関係者が出席していない場合でも、特に出席していない場合はなおさらです。私は「今発言するか、永遠に沈黙を守るか」とよく言います。設計上の大きな決定事項については、全員が同じ考えを持っている必要があります。
試験定義文書を使用して、すべての主題専門家が最低限の資格要件 (MQC) の意味について一致していることを確認します。この文書は、マーケティング活動に情報を提供するためにも重要です。マーケティング担当者は、試験の目的、スコアの意図された解釈、および試験の使用方法を理解する必要があります。試験をマーケティングするときには、試験の使用方法が明確であることを確認し、誤用によって損害が発生しないようにする必要があります。
***
認定取得の成功には4つの不変の法則があります。それぞれの法則に関するビデオは、 Kryterion ブログ（www.KryterionOnline.com/blog）。
お問い合わせ Kryterion 、あなたの初めての、あるいは次の認定試験について、ぜひ詳しくお聞きしたいと思います。こちらから こちらから.
