最近、 Kryterionの心理測定サービス・ディレクターであるトリッシュ・ヤング氏を訪ね、議論に値する2つのトピックについて話す機会があった。1つ目は、テストのメンテナンス、具体的には、長期的なパフォーマンスを確保し、反応ではなく意図的にそれを行う方法についてでした。2つ目のトピックは、SME（Subject Matter Expert：主題専門家）の選定と管理のベストプラクティスについてです。SMEは、試験の継続的なメンテナンスにも不可欠です。この記事では、試験のメンテナンスとサブジェクト・マター・エキスパートを管理するためのベストプラクティスについて深く掘り下げてみましょう。
テストメンテナンス
Q: 認定試験を維持するためにプログラムは何をすべきでしょうか?
試験のメンテナンスの範囲は、実際には試験のセキュリティに対するリスクのレベルに関係しています。すべての試験に共通のメンテナンス対策がありますが、その実施頻度は、試験の量、リスクの高さ、試験の市場への露出、受験者、特に友人や同僚が試験について話す程度によって異なります。
したがって、年間数百人の受験者しかいない低リスクのプログラムの場合は、定期的にヘルス チェックを実施したり、項目のパフォーマンスに関する統計を実行したりするだけで十分です。また、新しい項目の開発やそれらの項目のベータ テストを検討することもできます。
リスクの高いプログラムの場合は、毎年新しいテスト フォームを作成するか、少なくともその期間中にテスト フォームを改訂する必要があります。大量の試験の場合、試験のセキュリティを維持するために毎年新しいテスト フォームが必要になることがあります。新しいテスト フォームでは、合格/カット スコアの評価が必要になります。
Q: 試験のメンテナンスに関してプログラムによくある間違いや誤解は何ですか?
スポンサーが抱く最も一般的な誤解は、試験開発は「一度きり」のプロセスであると想定していることです。そのため、試験の継続的なメンテナンスのための予算の必要性が見落とされがちです。試験に継続的なメンテナンスが必要であることがわかっていても、試験の過剰公開による合格率の急上昇など、予期しない（そして望ましくない）事態が発生するまで、優先事項にならない場合があります。
Q: ソフトウェアが絶えず変更される IT 認定試験をどのように維持していますか?
重要なのは、継続的な問題の開発と、採点されない問題を試験に含めることです。そうすれば、古い問題が古くなったときに代わりの問題を利用できるようになります。採点されない問題にはデータがあるため、問題の難易度や、代わりの問題に試験のカットスコアの調整が必要かどうかがわかります。
Q: 試験内容が古くなってしまわないようにプログラムではどのように確認すればよいですか?
業界のベストプラクティスでは、試験が職務における有能なパフォーマンスにとって現在重要な事項を測定していることを確認するために、5 ～ 7 年ごとに新しい職務タスク分析を実施することが推奨されています。
テストのスポンサーは、実際のテスト問題自体も確認する必要があります。現在のテストのブループリントが古くなくても、テスト問題自体は、特にテクノロジーや法律、規制の変更の影響を受けている場合は、古くなっている可能性があります。通常、テスト問題は、古くなった問題を特定するために、主題の専門家によって年に 1 回見直される必要があります。
中小企業の選定と管理
Q: 中小企業を選択する際のベストプラクティスは何ですか?
最も重要なことは、特に認定を取得しようとしている場合や、何らかの形でプログラムを擁護する必要がある場合は、主題グループが資格認定の対象ユーザーを代表していることを確認することです。
SME は、スキル、能力、職務が実践される地理的領域、さまざまな作業環境、学歴など、基本的に、認定された職務を遂行する方法に影響を与える可能性のあるあらゆる点で代表的である必要があります。
中小企業は、認定者が業務で使用するタスク、知識、スキルを十分に理解し、適切な難易度で試験問題を作成する必要があります。
中小企業はすべて、対象となる認証を保持し、良好な状態を維持している必要があります。
特に試験準備活動の分野では、利益相反があってはなりません。
Q: 試験開発活動には何人の SME が必要ですか?
決まった数はありませんが、経験上、資格認定の対象ユーザーを代表するグループを形成するには、通常 8 ～ 12 の SME が必要です。
合格点調査には、少なくとも 8 つの SME を使用する必要があります。合格点を歪める可能性のある、時折の極端な見解のバランスをとるためには、10 ～ 12 の SME がさらに望ましいでしょう。
項目レビューなどのアクティビティの場合、項目は最終的にテスト開発プロセスの複数の時点で他の SME によってレビューされるため、SME の数は 5 人か 6 人程度でも問題ない場合があります。
Q: 開発や保守の活動ごとに異なる中小企業のグループを使用する必要がありますか?
テスト開発/保守全体で同じ SME を使用することと、プロセス中に異なる SME を使用することには、それぞれ長所と短所があります。
同じ SME を使用する利点としては、さまざまなテスト開発活動のために主題専門家を募集して調整する必要がないため、スタッフの時間が節約されることが挙げられます。もう 1 つの利点は、テスト開発全体を通じて同じグループを使用することで継続性が確保されることです。さらにもう 1 つの利点は、テスト項目を作成した同じ SME が項目レビュー中に出席し、質問に答え、その目的を説明できることです。
テスト開発活動に異なる SME を使用する理由には、問題を作成した SME が項目レビュー中に防御的になる状況を回避することが含まれます。異なる SME を使用すると、SME がテスト問題に慣れすぎて、特にテスト開発の後半の段階で、テスト問題が簡単すぎると思い始めるという問題も回避できます。
ある程度の継続性は、情報や状況を新しい中小企業に引き継ぐという点で役立ちます。
SMES を長期間使用する場合は、退任の時期を規定する任期制限を設ける必要があります。また、指定された時点で、新鮮な視点を持つ新しい人材をプロセスに投入する必要があります。
Q: 中小企業に関連してテストスポンサーが犯す一般的な間違いや省略は何ですか?
おそらく最も大きな欠落は、中小企業の背景情報が十分に収集されておらず、その参加が文書化されていないことです。背景情報により、たとえば中小企業が実際に認定資格を保持していること、また資格認定の対象者を代表していることが保証されます。文書化はテスト開発のベスト プラクティスに従うために重要であり、プログラムの法的防御力を高めることにもつながります。
もう一つの省略は、中小企業から秘密保持契約（NDA）に署名をもらっていないこと、またはNDAの条件、特に試験準備活動のような利益相反について定期的に注意喚起していないことです。
経験の浅い中小企業は標準設定プロセスから除外されることがあり、質問の難易度が適切なレベルであることを保証するために中小企業が貢献できる可能性が実質的に無視されることになります。
もう 1 つの間違いは、資格認定の対象ユーザーを代表するのではなく、利便性に基づいて中小企業を選択することです。
Q: 中小企業に時間と労力に対して報酬を支払うことは適切でしょうか? それとも利益相反になりますか?
SME に報酬を支払うことはまったく問題ありません。報酬を支払うプログラムでは、多くの場合、継続教育クレジットで SME に報酬を支払うため、スポンサーと SME の両方にとってコストが削減されます。多くの SME は、試験の開発と保守プロセスに参加しただけでメリットがあったと報告しています。新しいことを学び、専門家とのつながりを広げることから価値を得ています。
