JISX8101-2:2010 情報技術―バイオメトリック性能試験及び報告―第２部：テクノロジ評価及びシナリオ評価の試験方法

X 8101-2：2010 (ISO/IEC 19795-2：2007)

（1）

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

ページ

序文 ··································································································································· 1

1 適用範囲 ························································································································· 1

2 適合性···························································································································· 1

3 引用規格 ························································································································· 2

4 用語及び定義 ··················································································································· 2

4.1 バイオメトリックデータ ································································································· 2

4.2 バイオメトリックシステムの構成要素 ················································································ 2

4.3 バイオメトリックシステムと利用者との相互作用 ································································· 2

4.4 精度評価尺度 ················································································································ 4

5 テクノロジ評価及びシナリオ評価の大要 ··············································································· 4

6 テクノロジ評価 ················································································································ 6

6.1 試験の設計 ··················································································································· 6

6.2 適切な試験コーパスの編成······························································································· 9

6.3 性能測定 ····················································································································· 13

6.4 報告方法 ····················································································································· 17

7 シナリオ評価 ·················································································································· 19

7.1 試験の設計 ·················································································································· 19

7.2 被験者集団 ·················································································································· 25

7.3 性能の測定 ·················································································································· 26

7.4 報告方法 ····················································································································· 28

8 テクノロジ評価及びシナリオ評価に適用可能なその他の諸問題 ················································ 30

8.1 試験の各当事者 ············································································································ 30

8.2 公平性 ························································································································ 31

8.3 試験システムに含まれる基礎的事項 ·················································································· 31

8.4 FAQの使用·················································································································· 32

8.5 法的諸問題 ·················································································································· 32

8.6 試験ソースコードの公表 ································································································ 32

8.7 試験報告書に関する装置提供者のコメント ········································································· 32

附属書A（参考）主要なテクノロジ試験タイプに対する段階及び行為 ············································ 33

附属書B（参考）提示，入力試行及びトランザクション間の関係 ·················································· 40

附属書C（参考）取組みレベルの報告方法 ··············································································· 41

附属書D（参考）クライアントサーバ試験方法 ········································································· 43

附属書E（参考）複数システムの試験における評価結果のシステム横断的比較 ································ 45

附属書JA（参考）モダリティ特定の試験 ················································································· 46

参考文献 ···························································································································· 66

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

日本工業規格 JIS

X 8101-2：2010

(ISO/IEC 19795-2：2007)

情報技術−バイオメトリック性能試験及び報告−

第2部：テクノロジ評価及び

シナリオ評価の試験方法

Information technology−Biometric performance testing and reporting−

Part 2: Testing methodologies for technology and scenario evaluation

序文

この規格は，2007年に第1版として発行されたISO/IEC 19795-2を基に，技術的内容及び対応国際規格

の構成を変更することなく作成した日本工業規格である。

なお，この規格で点線の下線を施してある参考事項及び附属書JAは，対応国際規格にはない事項であ

る。

適用範囲

この規格では，二つの重要な評価方法，すなわち，テクノロジ評価及びシナリオ評価に特有なデータ収

集，データ分析及び報告書の作成に関する要求事項及び推奨事項について規定する。

この規格では，次の分野に関する要求事項を具体的に規定する。

− テクノロジ評価及びシナリオ評価のための試験規約の展開及び詳細な説明

− バイオメトリック評価種別に関連するパラメタを反映するバイオメトリック評価の実施及び報告。

注記この規格の対応国際規格及びその対応の程度を表す記号を，次に示す。

ISO/IEC 19795-2:2007，Information Technology−Biometric performance testing and reporting−Part

2: Testing methodologies for technology and scenario evaluation (IDT)

なお，対応の程度を表す記号 (IDT) は，ISO/IEC Guide 21-1に基づき，一致していることを

示す。

適合性

試験は，この規格のテクノロジ評価箇条又はシナリオ評価箇条に適合しなければならない。

シナリオ試験に適用する一連の箇条は，テクノロジ試験に適用する一連の箇条とは異なる。さらに，識

別システムの試験は，照合システム試験に適用する一連の箇条とは異なる箇条を適用する。この規格に従

うために，評価は表1に示すこの規格の各箇条を遵守しなければならない。

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

表1−評価方法及び比較の種類に関する適合性

評価方法

比較の種類

必要とされる箇条

テクノロジ又はシナリオ

識別又は照合

箇条5及び箇条8

テクノロジ

識別

6.3.3を除く箇条6のすべて

テクノロジ

照合

6.3.4を除く箇条6のすべて

シナリオ

識別

7.3.4を除く箇条7のすべて

シナリオ

照合

7.3.5を除く箇条7のすべて

引用規格

次に掲げる規格は，この規格に引用されることによって，この規格の規定の一部を構成する。この引用

規格は，その最新版（追補を含む。）を適用する。

JIS X 8101-1 情報技術−バイオメトリック性能試験及び報告−第1部：原則及び枠組み

注記対応国際規格：ISO/IEC 19795-1: 2006, Information technology−Biometric performance testing

and reporting−Part 1: Principles and framework (IDT)

用語及び定義

この規格で用いる主な用語及び定義は，JIS X 8101-1によるほか，次による。

4.1

バイオメトリックデータ

4.1.1

バイオメトリック参照データ（テンプレート，モデル）[biometric reference (template model)]

利用者ごとに格納された登録サンプルから抽出された特徴に基づく参照基準。

4.2

バイオメトリックシステムの構成要素

4.2.1

特徴抽出器 (feature extractor)

サンプルから特徴を抽出する機構。

4.2.2

バイオメトリック参照データ生成器 (biometric reference generator)

サンプルをバイオメトリック参照データに変換する機構。

4.3

バイオメトリックシステムと利用者との相互作用

4.3.1

順化 (acclimatization)

評価の全過程を通して，サンプルを処理するセンサの能力に影響を及ぼす可能性のあるバイオメトリッ

ク特徴の時間的に変化し得る条件に適応が起きること。

4.3.2

取組みレベル (effort level)

バイオメトリックシステムに正しく登録，若しくはマッチングするために必要な提示，入力試行又はト

ランザクションの数。

4.3.3

登録試行 (enrolment attempt)

バイオメトリックシステムにおいて，登録のための一人の被験者からの一つ以上のバイオメトリックサ

ンプルの提出。

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

注記1 一つ以上の登録試行が，登録トランザクションを構成するために，許可又は要求される場合

がある。また，一つの登録試行は，一つ以上の登録提示を含むこともある。

注記2 附属書Bに示す提示，入力試行及びトランザクション間の関係の図を参照。

4.3.4

登録試行の限度 (enrolment attempt limit)

一人の被験者が登録トランザクションの終了前に許可される最大入力試行数，又は最大所要期間。

4.3.5

登録提示 (enrolment presentation)

登録のための一人の被験者におけるバイオメトリック特徴の実体の提出。

注記一つ以上の登録提示が登録トランザクションを構成するために許可又は要求されることもあ

る。また，一つの登録提示は，一つの登録試行になる場合も，ならない場合もある。

4.3.6

登録提示の限度 (enrolment presentation limit)

一人の被験者が登録トランザクションの終了前に許可される最大提示数，又は最大所要期間。

4.3.7

ガイダンス (guidance)

登録又は認識の過程で運用責任者から被験者に示される指示。

注記ガイダンスは，登録又は認識の過程でバイオメトリックシステム又は装置から与えられるフィ

ードバック（音及び視覚的な提示列のようなもの）とは別のものである。

4.3.8

習熟 (habituation)

ある装置に対する被験者の精通度合い。

注記バイオメトリック装置を使用することによって得られる，十分な精通度合いをもつ被験者は，

習熟した被験者と呼ぶ。

4.3.9

比較試行 (comparison attempt)

バイオメトリックシステムにおいて，ある被験者に関する一つ以上のバイオメトリックサンプルを比較

のために提出すること。

4.3.10

比較試行の限度 (comparison attempt limit)

一人の被験者が比較処理の終了前に許可される最大入力試行数，又は最大所要期間。

4.3.11

比較提示 (comparison presentation)

比較を目的とした，一被験者当たり一つの生体特徴の実体の提示。

注記一つ以上の比較提示は，比較試行を構成するために許可又は要求されることがある。一つの比

較提示は，一つの比較試行になることも，ならないこともある。

4.3.12

比較提示の限度 (comparison presentation limit)

一人の被験者が比較試行の終了前に許可される最大提示数，又は最大所要期間。

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

4.4

精度評価尺度

4.4.1

収集時不適合率 (failure at source rate)

テクノロジ評価に使用するために，手動又は自動でバイオメトリックデータを集めているときにコーパ

スから廃棄されるサンプルの割合。

例顔データ収集において収集された画像の一部は，画像中の顔の欠落によって廃棄されることがあ

り得る。

テクノロジ評価及びシナリオ評価の大要

この規格は，2種類の評価手順，すなわち，テクノロジ評価及びシナリオ評価を規定する。試験報告で

は，その報告がテクノロジ評価から生じたものか，シナリオ評価から生じたものか，又はテクノロジ評価

とシナリオ評価との両者の側面を併せもつ評価から生じたものかを示さなければならない。

テクノロジ評価は，既存の又は特別に収集されたサンプルのコーパスを使用することによる，同一のバ

イオメトリックモダリティにつき一つ以上のアルゴリズムのオフライン評価である。テクノロジ試験の有

用性は，人間とセンサとの間の取得の相互作用と認識処理との分離に由来し，その利点には次のようなも

のが含まれる。

− 完全な相互比較試験を実施する能力。テクノロジ評価では，全被験者を，他のどのメンバの身元情報

を要求する者（すなわち，偽者）とすることもできる。これによって，N人につき一人ではなく，N2

人につき一人の割合での誤合致率(FMR)を推定してもよい。

− 予備試験を実施する能力。テクノロジ評価は，リアルタイム出力要求のない状態で実施することが可

能であり，この点で研究・開発に最適である。例えば，アルゴリズムの改善の効果，作動レベル・構

成など実行時のパラメタの変更，又は異なる画像データベースについて，本質的に，閉じたループの

改善サイクルで測定することができる。

− 複数実体試験及び複数アルゴリズム試験を実施する能力。テクノロジ評価は，共通の試験手順，イン

タフェース，及び測定基準を用いることで，複数例システム（例えば，顔の三つの面）及び複数アル

ゴリズム（例えば，サプライヤA及びサプライヤB）の性能，又はそれらの組合せに関する反復可能

な評価を実施する可能性を与える。

− テクノロジ試験は，コーパスが適切なサンプルデータを含んでいる場合，人間とセンサとの間のイン

タフェースに伴って起こるすべてのモジュールを試験できる可能性がある。そこには，次のものも含

まれる。品質管理及びフィードバックモジュール，信号処理モジュール，（マルチモーダル又は複数実

体バイオメトリックスに対する）画像統合モジュール，特徴抽出及び正規化モジュール，特徴レベル

統合モジュール，比較スコア計算及び統合モジュール，スコア正規化モジュール。

− 人間とセンサとの相互作用には，非決定的な側面があって真の反復可能性に対する妨げとなる。これ

が比較可能な製品試験を複雑にする。性能測定の1要素として，この相互作用を除去することによっ

て，反復可能な試験が可能となる。このオフラインプロセスは，ほとんどコストがかからず，永久に

反復することができる。

− サンプルデータが入手可能な場合，性能は，長年の間に取得されたサンプルを活用して，非常に大規

模な対象母集団について測定することが可能である。

注記1 オフライン登録及び比較スコアの計算のためのサンプルデータベースを収集すると，任意

のトランザクションで，どのようなサンプル及び入力試行を使用するかの選択余地が広が

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

る。

注記2 テクノロジ評価は，後のオフライントランザクションのために，データ記憶装置を常に必

要とする。しかし，シナリオ評価では，オンライントランザクションは，試験者にとって

より単純になり得る。通常の作法で作動しているシステムでは，サンプルの保管は推奨さ

れるが必す（須）ではないからである。

シナリオ評価は，プロトタイプ又はシミュレート対象アプリケーションの全体で実施される，システム

性能のオンライン評価である。シナリオ試験の有用性は，登録及び認識処理に関連して人間とセンサとの

取得相互作用を含むことによるもので，その利点には次のようなものが含まれる。

− 被験者を登録・認識するためのシステムの能力に関する追加的な入力試行及びトランザクションの影

響を測る能力。

− 提示及びサンプル取得期間を含めた，登録及び認識の試みのスループットの結果を収集する能力。

注記3 オンライン評価では，記憶装置の要求仕様を抑えるため，又は限定的なケースにおいて現

実世界システムの操作に忠実に保証するために，試験責任者はバイオメトリックサンプル

を保持しないようにすることもある。しかし，オンライン試験におけるサンプルの保持は，

検査のため，及びその次のオフライン分析を可能にするために推奨される。

注記4 バイオメトリックシステムの試験には，入力画像又は信号の収集過程が含まれる。その収

集物は，登録用のバイオメトリック参照データ生成及び後の試行における比較スコアの計

算のために使用される。収集された画像・信号は，そのまま，オンライン登録，照合又は

識別試行に使用することもできるし，後のオフライン登録，照合及び識別に使用するため

に格納しておいてもよい。

テクノロジ評価とシナリオ評価との相違に関する情報は，表2に示す。

表2−テクノロジ評価とシナリオ評価との違い

テクノロジ評価

シナリオ評価

試験の対象となるもの

バイオメトリックの構成要素（比較又は
抽出のアルゴリズム）。

バイオメトリックシステム。

試験の目的

標準化されたコーパスに関する各アルゴ
リズムの性能測定。

シミュレート対象アプリケーションのシ
ステム全体を使った性能測定。

（分類のための参照情報とし
てバイオメトリックデータに
与える）正解

データサンプルとサンプル源との間の既
知の関係。この関係は，データ収集誤り
と合併されたデータセットの共通部分に
よって影響を受けることがある。

提示されたサンプルでの，システムによ
る判定と独立に記録された情報源との既
知の関係。この関係は，データ収集誤り
及び試験責任者の望まない振る舞いを被
験者が行ったときに，試験責任者が記録
に失敗することによって影響を受けるこ
とがある。

試験責任者によって管理され
る被験者の行動

試験中は適用不能。

バイオメトリックデータが記録されてい
る場合は管理されていることが知らされ
るが，そうでない場合は管理されていな
いとみなされる。

管理されている（被験者の行動が独立変
数でない場合）。

被験者が入力試行の結果に関
するリアルタイムのフィード
バックを受けている。

受けていない。

受けている。

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

表2−テクノロジ評価とシナリオ評価との違い（続き）

テクノロジ評価

シナリオ評価

結果の反復可能性

反復可能

おおむね反復可能（試験環境条件及びヒ
ューマンファクタ変数が管理されている
場合）。

物理的環境の管理

バイオメトリックデータの記録時に管理
されていることが分かることが多いが，
そうでない場合は管理されていなかった
とみなされる。

管理され，かつ，記録されている又はそ
のいずれか。

記録される被験者の相互作用

試験中の適用は不可能。

バイオメトリックデータが記録されてい
る場合は，記録が可能。

記録される。

報告される典型的な結果

バイオメトリックシステムを構成する要
素の相対的な頑健性又は各構成要素（例
えば，比較アルゴリズム又は抽出アルゴ
リズム）の版数。

本質的な性能要素の決定結果。

バイオメトリックシステムの相対的な頑
健性。

本質的な性能要素の決定結果。

シミュレートされた性能に対する尺度。

典型的な尺度

ほとんどの誤り率が該当する。

利用者間のスループットは，該当しない。

多くの被験者集団を集めるのが困難な，
大規模識別システムの性能尺度に適した
もの。

予測される利用者間のスループット。

誤合致率(FMR)，誤非合致率(FNMR)

取得失敗率(FTA)，生体情報登録失敗率
(FTE)
GFAR（6.3.5参照）， GFRR（6.3.5参照）

制約

適切な試験データベース，このデータベ
ースは，例えば，一つ以上のセンサを使
って集められたものでもよく，身元情報
は知られていても，いなくてもよい。

機器がそろい運転中のシステム。

被験者母集団

記録される。

リアルタイムの参加。

注記5 この表中の記載事項は主な相違点であって，ある場合には例外が存在することもある。

テクノロジ評価

6.1

試験の設計

6.1.1

目標

評価は目的とする対象アプリケーションのためのシステムへの生体情報登録，取得，及び比較機能を評

価するために設計しなければならない。

6.1.2

アプリケーションとの適合性

当該試験が，特定のアプリケーション又はそれらを代表する概念の性能を評価することを意図する場合，

評価試験は，その機能（入力から出力まで）と運用形態（例えば，登録，照合過程）とを十分に模擬する

ように設計，実施しなければならない。

例現実の応用シーンで登録のときに複数の登録画像が収集できる場合には，テクノロジ試験はその

過程を模擬できるように設計することが望ましい。

試験の目的のためには，可能であれば比較試行ごとに比較スコアを返すように実施することが望ましい。

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

6.1.3

適切な性能測定法の決定

試験責任者は，6.3に列挙されているものに加えて，どの性能尺度がそれらの評価に適用可能かを決定し

なければならない。

試験は，すべての必要な評価尺度を確実に測定できるように設計しなければならない。

試験責任者は，テクノロジ試験で行う比較関連項目のタイプを（一つ以上）決定し，報告しなければな

らない。比較のタイプは，次のうちから一つ以上を指定しなければならない。

a) 照合

b) 登録者非限定識別

c) 登録者限定識別

試験責任者は，テクノロジ試験で行う一つ以上の比較関連項目のタイプについて，それらを選択した合

理的根拠を明示しなければならない。評価での比較関連項目のタイプは，問題のアルゴリズムに適用可能

なものでなければならない。そうすれば，特定のタイプの比較［例えば，ウォッチリスト(watchlist)識別］

だけを遂行するように設計されたシステムが，適切なタイプの結果を生成するように試験される。

注記1 誤り率算出のための公式は，この規格群の第1部の箇条8（分析）に示されている。

注記2 対応国際規格では，“Clause 7”としているが，内容を検討の上，修正した。

6.1.4

実装時の優先事項

試験計画は，バイオメトリック認識システムの機能を実装する方法を指示するようなものであってはな

らない。バイオメトリック認識システムの機能をどのような方法で達成するかは，実装する側が責任をも

つことである。

注記オフライン試験を実施するためには，生体認証装置の試験項目(what)と試験方法(how)とを分離

することが，基本的に重要である。最初に試験実行者と装置供給者との責任範囲を明確化する

必要がある。試験の対象となる装置は可能な限り，単に入力サンプルに対して結果を返すだけ

の基本機能をもったブラックボックスとみなす必要がある。装置の中で特殊な現象が起こって

いることは十分あり得るが，多くの場合，試験実行者には関係ないとみなすほうがよい。この

ことによって任意のバイオメトリックサンプルの試験が容易になる。

例1 指紋が1 000 dpi で採取されており，試験装置がその半分の解像度だけで処理すると分かってい

る場合，試験者はa)（ダウンサンプリングが特定の認識装置の性能に与える影響は自明なもの

ではないので）ダウンサンプリングは行わず，b)装置供給者に対して内部でダウンサンプリン

グするように要請することが望ましい。

例2 複数の姿勢の違う顔画像が入力された場合，1)最も良い画像を選択する，2)すべての画像を統

合する，3)ステレオアルゴリズムで3次元モデルを合成する，などの方法が考えられるが，ど

の方法を用いるかは，バイオメトリックシステム又はバイオメトリック装置が決定する。

例3 多くの自動指紋識別システム(automated fingerprint identification system，AFIS)機械（すなわち，複数

の指紋の記録を識別する機械）では何らかの基準（最も簡単には，例えばHenryの分類）によ

ってデータベースを分割し，利用者又は偽者のサンプルと同じカテゴリと考えられるデータベ

ースの一部だけを探索するデータベース分割(binning)法を実装しており，そのために処理の高

速化が図られるが，精度の低下を招く可能性はある。この速度と認識精度とのトレードオフは

供給者によって設定されるデータベース分割(binning)法の内部パラメタによって決まるので，

それぞれの設定ごとに，すべてのデータを使って，試験を繰り返す必要がある。

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

例4 認識システムでの複数の指の指紋の利用を示すことを模索する研究においては，試験者は個々

の指ごとのサンプルを，装置を通した後で，スコアレベルでの融合を実行することは望ましく

なく，その代わり，すべての指画像を一つのサンプル（例えば，米国規格協会ANSI米国標準

技術局NISTのレコード，又はISO/IEC 19794-2で規定される共通バイオメトリック交換フォ

ーマットフレームワークCBEFF）として構成し，バイオメトリック装置にその内部で融合を実

行させることが望ましい。CBEFFでの包含される実体に関するより詳しい情報は，ISO/IEC

19794-2参照。ANSI-NISTのレコードに関する情報は，ANSI/NIST-ITL 1-2000 NIST 特別刊行物

500-245参照。

6.1.5

装置提供者への情報公開方針

試験者は試験を開始する前にa)装置が設定され，出荷され，インストールされる前，及びb)実行のとき

に，どの情報を装置提供者に公開するかについての決定方針を策定しなければならない。

6.1.6

識別と照合との試行の交換不能性

1対多の識別探索の結果得られた比較スコアは，正当な根拠なしに照合試行の結果として提示してはな

らない。

注記1 運用上の現実性の尊重を基本方針とした場合，現実の入力試行から得られた結果（すなわち，

棄却又は受入れ）だけに対して評価が行われる。照合システムは，利用者が自分であること

を主張した試行の結果で評価される。1対多探索がすべての候補者リストを生成する場合で

さえも，候補者リストは原子的（分割不可能）だと考える。すなわち，候補者リストを，N

回の（精度検証計算に用いられる）照合試行の結果としてみなさない。

注記2 単一の識別試行とN回の1対1照合とが異なる場合がある。なぜならば照合は，利用者サン

プルと，コホート正規化(cohort-normalization)として知られている手続に従って追加された，

隠れたサンプルとを比較することで改良が可能であるからである。この方法によって，利用

者ごとに適切ないき（閾）値を定めることでFARを減少させるように比較スコアを調整する。

この方法にも性能とスループットとのトレードオフが存在する。その原因は，1対1照合で

追加される比較は，1対Mの処理増を招くからである。ただし，Mは，（コホート正規化手

順に従って一定の集団ごとにその集団内の複数の人のデータから求められる）代表サンプル

作成時に参照するバイオメトリックデータ集合の大きさである。

注記3 コホート正規化は，装置内部で選択した登録部分集団を使うものであり，装置内部の固有処

理である。

6.1.7

モデルに関する承認書

実世界のサンプルを用いた試験に代えて又はこれに加えて，近似的なモデル又は識別性能を予測するモ

デルを報告する場合には，利用可能なデータを使って可能な限りモデルを検証し，かつ，すべて文書化さ

れなければならない。

6.1.8

データ使用の順序

試験計画においては，試験データの使用の順序を定義しなければならない。この順序は，想定されるア

プリケーションに対して適切に定義しなければならない。実装に当たっては，この順序を遵守しなければ

ならない。

注記1 トランザクションは，通常，1回ごとに分けて実行される。したがって，実装に際しては1

回のトランザクションがすべて終了してから次のトランザクションが始まるように留意しな

ければならない。

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

注記2 多くのバイオメトリックアプリケーションは，本人利用者の場合，事前の登録に引き続いて，

複数の個人が順に，かつ，個人ごとにバイオメトリックシステム又はバイオメトリック装置

を使うことを要件としている。

注記3 識別タスクの中には，逐次的に実行されないものもある。例えば，密室のすべての人間の識

別をバッチ処理で行う場合は，線形割当て問題に帰着することによって，全体的最適解を得

ることができる。

6.1.9

試験の準備手順

6.1.9.1

インストール及び正常動作の確認

試験実施機関は，手順に従って，ハードウェア及びソフトウェアがインストールされ，適切に設定され

ていることを保障しなければならず，かつ，そのシステムが正しく操作されているかどうかを確認しなけ

ればならない。

注記インストール，設定及びシステム動作の確認に，供給者が加わってもよい。

6.1.9.2

データの準備

データの準備では，被験者の身元を示す情報及び通常アプリケーションによっては利用できない（性別，

年齢などの）関連するメタデータを削除しなければならない。そうしなければ，装置提供者が，削除され

ていない情報を用いて身元を推定する隠し機能を用意しておくことによって，試験で不当に有利な結果を

得ることがある。

6.1.10 一般的な実行の順序

テクノロジ試験の実行の順序に関する包括的な事項を次に示す。

− 登録サンプルは，バイオメトリック参照データに変換される。これらを一列の集まりとして格納して

もよい。

− 識別サンプル及び照合サンプルは，サンプル特徴に変換される。

− 照合試行では，サンプル特徴とバイオメトリック参照データとを直接比較する。

− 登録者限定識別試行では，利用者の身元情報を得ることを目標として，登録された母集団を探索する。

− 登録者非限定識別試行では，登録されたデータベースを探索し，結果として，

− 一つ以上の身元情報を出力するか，又は，

− 登録されたデータベース内に被験者が見つからない場合は，見つからないことを出力する。

注記1 上記の機能は，アプリケーションプログラムインタフェース（APIと呼ぶこともある。）の

レベルで実施されているか，スクリプトのレベルで制御可能な実行形式になっていてもよい。

注記2 附属書Aに，テクノロジ試験の具体的な試験実行順序が記述されている。

6.2

適切な試験コーパスの編成

6.2.1

一般的な事項

テクノロジ評価は，一つ以上のバイオメトリックアルゴリズムの，登録及び比較の性能を評価するため

に設計される。テクノロジ試験は，試験責任者が提出すべきデータの種別に応じて計画される。

6.2.2

登録の一意性

すべてのコーパスサンプルが，実在の人間と対応していることが望ましい。評価の設計に当たっては，

意図せずに，一人の人物から複数のサンプルを，まるでそれらが異なる個人であるかのように，登録する

ことはしないほうがよい。すべての登録項目が異なる個人に対応していることを前提とする試験において

は，試験機関は，この前提を満たすために実施した過程について報告しなければならない。

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

個々人がコーパス内に複数の識別子をもつことが可能な場合，それらのコーパスは，もし実行可能なら

ば，そうした実体と調和するように“掃除”してもよい。さもなければ，その試験は，それぞれの識別子

が異なる個人と一致しているという前提に基づいて進めるのがよい。

注記1 バイオメトリックシステムは，個人を一意に特定することを目標にしている。個々人につい

て，一つ以上の画像又は信号を用いることが可能な場合には登録として，比較のプロセスで

はそれらのデータを一つのものとして扱うことが望ましい。

注記2 （一つ以上のモダリティで）個々人から二つ以上のサンプルを用いる識別システムにおいて，

登録が独立していることを仮定することは，次の理由のために行わない。

識別においては登録されたサンプルを探索し，候補リストを作成することが行われる。複

数のサンプルが独立に登録されている場合，最大限の基準を使用した各利用者サンプルのス

コアレベルの融合が必要である。なぜならば，最大のスコアのエントリが勝るためである。

たとえ，一人当たりのサンプル数がすべての人々について同じであっても，その実施を反対

する。なぜならば，最良と考えられる方法で，各サンプルを組み合わせることが供給者の責

任だからである。

誤りの評価尺度は登録された母集団の数Nに依存するので，Nが独立した個々人の数と一

致しない場合，Nは妥当な数字とみなされない。

注記3 被験者ごとに複数に（分けられて）登録されたバイオメトリック参照データの効果を明らか

にしようとする評価は，試験の計画と試験の報告とで文書化するので，ここでは扱わない。

6.2.3

データ取得の再現

試験責任者が設定する試験母集団へのアクセスレベルに基づき，被験者は複数回の訪問を含む試験手順

で複数回のデータを提供してもよい。トランザクションと訪問の回数とは，バイオメトリック参照データ

の老化効果を，おおまかに測定するために最大化することができる。ただし，この回数は，習熟化の効果

によっても影響されることがある。

6.2.4

被験者の識別

試験責任者は，被験者の識別のための情報を報告しなければならない。そのために，少なくとも次の項

目を報告する。

a) 被験者を識別するために用いられる識別子のタイプ

例生体情報を提供した個人を一意に識別する情報，性能評価に必要な個人情報（性別，年齢）に

対して一意に対応付けることができる任意の身元情報など。各生体情報にはこれらを表す記号

列，数字などが割り当てられる。

b) 収集された個人データの量及びタイプ

6.2.5

非バイオメトリック情報の供給

コーパスの中で活用可能な場合，配置されたシステムに通常活用可能なメタデータを，試験中のシステ

ムに提供しなければならない。試験の報告書には，試験中のシステムに活用可能であったメタデータ変数

の名称及びタイプを記載しなければならない。

例報告書には，センサの具体的な情報（例えば，カメラのセッティング），環境（例えば，温度及び

湿度），被験者の具体的な情報（例えば，性別，年齢，見かけ，服装），又はその他かかわりのあ

る情報が含まれる。

注記テクノロジ試験においては，実世界におけるバイオメトリック操作の複数の側面を考慮できな

いが，評価の設計においてこうした実世界におけるバイオメトリック操作の複数の側面を不必

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

要に排除しないほうがよい。

6.2.6

コーパスの代表性

コーパス中のデータが試験の目標又はアプリケーションの関心事に適するように考慮して評価を設計し

なければならず，かつ，その旨を報告書に記載しなければならない。

試験機関の監督又は制御の下でデータが収集される場合，順化，訓練，習熟，ガイダンスなど試験責任

者と被験者との相互作用に関連した情報は，記録されなければならない。

注記1 現場に展開されたシステムの性能を予測して，評価する目的にテクノロジ評価を行うことは，

利用者有用である。こうした評価では，試験で使用するデータは同じフォーマットで，かつ，

同じ品質で取得することが可能である場合にだけ成立する。

注記2 理想的にはデータは異なるモダリティに関するデータも同等な習熟，順化，ガイダンスのレ

ベルで収集する。

6.2.7

汚染されていないコーパス

コーパスは，次のような場合，多少なりとも“汚染されている”とみなされる。

a) 実装提供者がコーパスの所有権をもっていたことがある。

b) 実装提供者が，コーパスの収集又は処理に用いられる装置を提供している場合，とりわけ，この行為

がサンプルの排除を行うなど，コーパスの性質又は品質に影響を与えている場合。

c) 試験の対象となるシステムが，かつてそのコーパスを使用して試験され，調整されたことがある場合。

汚染されているコーパスの使用が避けられない場合，この事実を試験報告書に記載しなければならない。

関係する一つ以上のサプライヤがそれを所有したことがある場合，サンプルデータは評価に際して使用

しないほうがよい。比較試験では，そうしたデータは使用しないほうがよい。（全体でも一部でも）この試

験コーパスを用いたシステムの事前の試験・調整は，試験報告書に記載しなければならない。

注記1 この項目は，試験者がサンプルデータに関する何らかの不正を行うことによって，見かけ上

の性能向上を装うことを防ぐ意味で重要である。

注記2 一般的に再利用が禁止されているからといって，サンプルを少々変更させるだけでは不十分

である。もし以前に試験したサンプルであることが何らかの方法で識別可能であれば，不正

が行われる可能性がある。

6.2.8

コーパスの廃棄

もし試験下にある一つ以上のシステムが，あるサンプルを用いて以前の試験で測定した性能に基づいて

調整されているならば，評価においてそのデータを用いないほうがよい。

注記1 これは，めったに用いられたことのないデータを使用することによって容易に達成できる。

注記2 これは，暗に収集活動を追加しなければならないことを指し示しており，その点で高くつく

ことがある。

6.2.9

コーパスの整合化

整合化とは，試験の目的に適さないデータを除去するために，被験者データを選抜することをいう。

整合化は被験者が確かに実在すること，そのデータが正しいフォーマットで記述されていること，正し

い実体が収集されていること，又は（正誤判定に用いる）正解の誤りが識別されていることのチェックを

含んでもよい。

試験責任者は，被験者のデータが妥当なものであるかどうかを報告しなければならない。データが妥当

な場合，試験責任者はデータの確認のときに適用した方法を詳しく説明しなければならない。データの除

去の割合と基準とについて報告しなければならない。

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

例1 データベースの品質は，被験者のデータから品質の悪いものを除去することによって制御でき

る。

例2 顔認識技術の試験では，顔が示されていないデータ（例えば，全く顔が見えないか全体が身体

であるような），及び指紋認識技術の試験で指紋が示されていないデータ（例えば，掌紋のデー

タ）は排除されることが多い。

注記1 一部のバイオメトリックデータは，他のタイプのものより比較的簡単に整合化できるので，

データの整合化を行うことは性能の結果にバイアスをかけるおそれ（可能性）がある。

注記2 コーパスの整合化で削除されたデータは，収集時不適合として捨て去られたものとは区別さ

れる。除去されたデータが不整合によるためと考えるのがよいのか，又は収集時不適合によ

るためと考えるのがよいのかという点について，ときには判断が必要となる場合がある。

6.2.10 コーパスの収集環境

データ収集中の環境条件は，公知のものでもよいし，特に規定するものでもよい。環境条件を特に規定

してデータを収集するということは，通常，公知の基盤的な環境条件を考慮した上で，特に規定する環境

条件下で性能を測定することである。このような環境条件の制御を，バイオメトリックの性能に影響を与

えることが知られている又は影響を与えると思われる温度，照明，湿度などについて行ってもよい。

次のように評価下のモダリティに関連する環境要因，コーパス取得時の環境要因について入手可能な情

報は明確に記載することが望ましい。

− 温度

− 屋外にあるもの

− 照明タイプ，方向，強度を含む

注記タイプとは，太陽光，蛍光灯などの照明の種類のことである。

− 周囲の雑音

− 振動

試験責任者はこうした情報が入手不能な場合は，その旨を報告書に記載しなければならない。

注記性能に影響を与える環境要因に関する情報については，この規格群の第1部のC.2.6（環境の影

響）参照。

6.2.11 収集時不適合

オフライン試験では，保存されているバイオメトリックサンプルを使用するが，そのサンプルはこの試

験の中でバイオメトリックシステムによって集められたものでも，そうでないものでもよい。試験報告書

では，データが試験で使用される前の段階で，どのように処理されたかに関する情報をすべて開示しなけ

ればならない。特に，サンプルが手動で廃棄されている場合又は自動バイオメトリックシステムの使用に

よって廃棄されている場合は，収集時不適合率(FAS)を報告しなければならない。

注記1 FASの値は，試験対象システムによって異なるバイオメトリックセンサ又は画像品質評価ア

ルゴリズムに関連することがある。

注記2 例えば，ある画像サンプルが全く空白であると分かった場合，もしそれが少数の遺産的

(legacy)なサンプルならばFASに数えないことが合法的であり，もしそれが空白サンプルの出

現を想定した試験を行うアプリケーションで定常的に生じるサンプルならば当然FASに含め

なければならないので，裁定を仰ぐことが必要となる。

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

6.3

性能測定

6.3.1

登録

オフライン試験においては登録失敗率(FTE)，すなわち，コーパス中の指定された登録サンプルが実装に

よって拒否された，被験者の割合を記録しなければならない。また，登録失敗として公表する基準も明記

しなければならない。

注記1 テクノロジ試験で測定される登録失敗は，実際の取得において起こり得る失敗の種類の一部

に過ぎない。

注記2 登録失敗は，各システムにおいて様々な理由で宣言されることがある。よく見られる理由は，

画像又は信号の品質の低さによって，システムが必要な信号の検出に失敗したというもので

ある（システムは画像若しくは信号を検出又は処理する固有の能力によって，及びある品質

受容基準によって構成されている。）。

注記3 システムは，登録失敗を増やすほど，より良い比較性能を達成できる。登録失敗と誤非合致

率とを結合した一般化誤拒否率(GFRR)を使えば，このようなトレードオフの問題はなくなる。

試験責任者は，登録を成功させるために要求されるサンプルの最低数と許容されるサンプルの最大数と

を具体的に示さなければならない。

試験される各バイオメトリックシステムについて，試験責任者は次を計算することが望ましい。

a) 可能であれば，登録時の品質スコアの分布

b) 異なる人口統計グループに対する，異なる環境条件に関連する，又はコーパスの他の論理セグメント

に対する登録失敗

注記1 試験に影響を与える因子の生体部位ごとの条件については，附属書JAに詳細に記述されて

いる。

注記2 指紋における指の損傷などによって，被験者そのものが測定対象になり得ない場合がある。

附属書JAでは，これらの被験者を取り除いた装置の使用可能な被験者の比率を“対応率”

という概念で規定している。

6.3.2

取得失敗

オフライン試験において，画像，信号の品質などの理由によって，取得及び位置決めにシステムが失敗

した照合又は識別試行の比率を記録しなければならない。この値は取得失敗率(FTA)と呼ばれる。

注記1 取得失敗率は，登録フェーズの生体情報登録失敗率の比較フェーズにおける対応物である。

6.3.1の注記1及び注記2にも同様に当てはまる。

注記2 取得失敗は，誤合致率とともに誤受入率の算出に使用しなければならない。

注記3 テクノロジ試験では，FTAは典型的にはエンコード又は比較の構成要素として公表され，試

行の処理失敗に属す。

試験責任者は，サンプル特徴を生成するために要求されるサンプルの最低数と許容されるサンプルの最

大数とを具体的に示さなければならない。

FTAを計算する公式は，この規格群の第1部に見い出すことができる。

6.3.3

照合尺度

試験された各照合システムに対して，試験責任者は次の項目を計算しなければならない。

a) 誤合致率(FMR)及び誤非合致率(FNMR)。

b) 誤拒否率(FRR)及び誤受入率(FAR)。ただし，試験設計方針が，誤受入率及び誤拒否率のそれぞれが誤

合致率及び誤非合致率と一致するようにしていない場合。

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

c) 実行された本人及び偽者の比較数。

d) 本人被験者について，入手可能な場合は，サンプル特徴の登録と取得との間で経過した時間の分布。

e) 試験結果の不確実性，及び不確実性を推定した基礎及び公式。

誤合致率と誤非合致率との関係は（誤受入率と誤拒否率との関係同様），照合精度特性(ROC)曲線又は検

出エラートレードオフ(DET)曲線の形で表してもよい。これらの率に到達するために用いられた被験者の

数及びトランザクションの数は算出しなければならない。

注記比較スコアを返すシステムとは対照的に合致又は非合致の判断を返すシステムでは，性能は

ROC又はDET上の操作が行われる単一での点で報告してもよい。

照合システムに対して，試験責任者は次の事項を算出することが望ましい。

a) 本人被験者及び偽者被験者に関する比較スコアの分布。

b) 異なる人口統計グループに対する照合結果，異なる環境条件に関連する照合結果，又はコーパスの他

の論理セグメントに対する照合結果。

6.3.4

識別の評価尺度

すべての識別評価について，試験責任者は試験結果の不確実性，及び不確実性を推定した基礎及び公式

を報告しなければならない。

登録者限定識別評価について，試験責任者は次の事柄を報告しなければならない。

a) 累積識別精度特性 (CMC)

b) 実行された探索回数

登録者非限定識別評価について，試験責任者は次の事柄を報告しなければならない。

c) 誤受入識別率(FPIR)及び対応する誤拒否識別率 (FNIR)［できればいき（閾）値の範囲で］。

d) データ分割法が用いられる場合は，データ分割誤り率及び（平均）絞込み率。

識別システムについて，試験責任者は次の事柄を報告しなければならない。

e) 異なる人口統計グループに対する識別結果，異なる環境条件に関連する識別結果，又はコーパスの他

の論理セグメントに対する識別結果。

6.3.5

登録失敗及び取得失敗を含む一般化誤り率

6.3.5.1

一般的な事項

対になった（誤合致率及び誤非合致率の）値の集合など，オフライン試験の直接的な出力は，取得失敗

及び登録失敗の測定値と組み合わせなければならない。

注記1 低品質のサンプルを取り除く処理を行うことによってシステムの誤受入精度及び誤拒否性能

の改良が可能になるため，性能の最終供述を生成するために測定された誤合致率及び誤非合

致率は，取得失敗率及び生体情報登録失敗率と組み合わせる必要がある。

FTE（生体情報登録失敗率）とFTA（取得失敗率）とがゼロのときには，注意することが望ましい。こ

の場合，単一試行のトランザクションのGFAR（一般化誤受入率）及びGFRR（一般化誤拒否率）は，FMR

（誤合致率）及びFNMR（誤非合致率）と同じであり，計算する必要はない。FTE又はFTAがゼロでなけ

れば，GFAR及びGFRRを計算し，FMR及びFNMRと区別することが望ましい。

注記2 ある試験では，取得失敗又は登録失敗の結果をもたらすサンプルは，さらなる研究のために

サプライヤに開放してもよい。

注記3 比較スコアを返すシステムに対して合致又は非合致の判断を返すシステムにとって，性能は

ROC又はDET上の単一で操作される点として報告してもよい。

注記4 非常に多くの登録失敗又は取得失敗を許すことによって，試験対象の実装が，低いGFAR値

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

を達成することがある。しかし，そのときは，GFRRが増加する。

6.3.5.2

単一試行のトランザクション

試験対象となる各実装に対して，試験責任者は，単一試行のトランザクションに対する一般化誤受入率

(GFAR)及び単一試行のトランザクションに対する一般化誤拒否率 (GFRR)を決定しなければならない。

一つのトランザクションが単一の試行から構成されている場合は，一般化誤受入率を取得され，かつ，あ

る固定したいき（閾）値tについて合致した偽者の割合として計算してもよい。

GFAR(t)＝(1−FTA)FMR(t)(1−FTE)

同様に，一般化誤拒否率は，a)使用中取得できなかったか，b)取得できたが登録できなかったか，又は，

c)登録でき取得もできたが，固定されたいき（閾）値tについて，誤って拒否されたかのいずれかであっ

た本人利用者の割合である。

GERR(t)＝FTA＋(1−FTA)FTE＋(1−FTA)(1−FTE) FNMR(t)

GFAR及びGFRRに関する上記の公式は，n＝1という特殊なケースでだけ成立する。ここで，nはトラ

ンザクション中に許される試行の回数である。

注記1 ある個人を登録しなくてもよいことになっている場合には，異なった公式が必要となること

がある。

注記2 生体情報登録失敗率(FTE)及び取得失敗(FTA)を明確に計測することを避けるには，すべての

照合比較で比較成績が返されるように仕様を定めればよい。この仕様において，装置提供者

は，登録失敗又は取得失敗であったという状況を内部的に記録し，そのような生体参照デー

タが1対1比較で使われたときには，十分に低い値を比較成績として返す。この方法によっ

てDET特徴において登録失敗と取得失敗とを正しく含むことになる。

注記3 GFAR及びGFRRは，次のようにしても決定することができる。

− （受入及び拒否に関係なく）失敗した偽者トランザクションと，登録が失敗した個人に対する偽者ト

ランザクションとを偽者トランザクションの総数の中に含める。

− （受入及び拒否に関係なく）失敗した本人トランザクションと，登録が失敗した個人に対する本人ト

ランザクションとを本人トランザクションの総数の中に含める。

− （受入及び拒否に関係なく）失敗した本人トランザクションと，誤拒否として登録が失敗した個人の

本人トランザクションとを数える。

6.3.5.3

複数試行トランザクション

複数の試行からなるトランザクションの場合，GFAR及びGFRRの計算はより複雑になる。そのような

試験の公式は，（一般的に求めることは困難なので）試験固有の状況に基づいて求めることが望ましい。

6.3.6

スループット性能

6.3.6.1

一般的な事項

試験機関は，スループットの測定を試験対象の実装に適した方法で行ってよい。

試験で測定しようとする性能の側面がトランザクションに要する時間である場合，試験責任者は試験対

象となる実装に即して，トランザクション時間を測定する方法を規定しなければならない。

注記1 理想的にはすべての登録操作及び比較操作に要した処理時間を測定することが望ましい。

注記2 オフライン試験では，計算に関するスループットだけが評価される。例えば，登録の場合に

は登録処理全体の中で，画像解析及びバイオメトリック参照データの生成フェーズだけが獲

得され，人間工学的でトランザクションの側面でもある（例えば，センサの上に指を置く，

眼鏡を外すなど）人間の行動に関する時間は無視される。したがって，テクノロジ試験にお

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

いて測定される登録操作のスループット量（例えば，0.1秒／件）は，運用上のスループット

量の下限を与える。

6.3.6.2

スループット性能の報告

スループットを要約する統計量が算出される場合，平均値を報告しなければならない。要約する他の統

計量としては次の値を報告してもよい。

a) 最小値

b) 最大値

c) 中央値

d) 標準偏差

注記もし（特に識別試行で）異なるサイズの母集団が登録されたならば，例えば，O(N)，O(N2)など，

生成される母集団のサイズに機能的に依存した査定を許容する時間に関する十分な情報を報告

することが望ましい。

6.3.6.3

比較性能及びスループット性能の報告

スループット性能は，テクノロジ評価において重要である。なぜならば，一般的に，認識誤りは，スル

ープットを減少させると減らすことができるからである。多くのバイオメトリックシステムでは，決定い

き（閾）値を変更すると，本人認証が成功するまでに提示が必要となるサンプル数が増減し，スループッ

トに影響する。このような場合，性能に関する完全な宣言は，付加的な第三の軸であるスループット率を

追加したDET特徴であろう。これによって配置者（バイオメトリック認証装置を実際に使われる現場に展

開する者）は，運用上の適したポイントを選択可能となる。

6.3.6.4

バイオメトリック参照データの生成及びサンプル特徴抽出のタイミングの測定

一部のシステムでは，バイオメトリック参照データの生成の過程と照合及び識別の過程とで，異なった

サンプル及びアルゴリズム処理手順を使うことがある。したがって，バイオメトリック参照データの生成

の時間特性と特徴抽出の時間特性とは，別個に報告することが望ましい。

6.3.6.5

スループット及び認識エラー率の同時測定

スループットの測定は，認識エラー率と同じ試験中に行うことが望ましく，また，統計的に評価するこ

とが望ましい。

6.3.6.6

偽者利用者及び本人利用者の試行のスループット

現実的な運用に即した評価を行うという原則に基づき，利用者当たりのスループットは，偽者利用者及

び本人利用者の試行の両方について測定することが望ましい。また，統計的評価は別個に報告することが

望ましい。

6.3.6.7

登録後の後処理にかかるオーバヘッド

識別試行では試験者は，母集団が登録された後で，登録後の後処理(fixing)にかかるオーバヘッドに出会

うかもしれないことを認識しておくことが望ましい。ここにおける後処理とは，システムにおいて，典型

的には，より良い性能を得るために，登録の最後に起動される，特徴ベクトルの分離のような何らかの処

理のことを意味する。

6.3.6.8

登録に関する一意性の探索

実世界で母集団の登録では，新規候補の各登録者の一意性を確認するための探索的確認計算を行うこと

が多い。この計算コストは母集団数がNであった場合O(N2)で評価される。テクノロジ試験の場合には，

事前に一意性が確認されているために登録コストはO(N)である。

試験責任者は1対N一意性の決定が登録処理の構成要素であるかどうか決定することが望ましい。これ

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

は登録データベースのサイズの増加に伴う登録時間の測定を通して確かめてもよい。そのような振る舞い

が実施されるに当たって観察されるか分かっている場合，試験責任者はそれ相応に結果を報告することが

望ましい。定められた登録時間から一意性を決定するのに必要な時間を分離するためには，試験の設計は，

重複検出の機能が作動しないように実施することが必要になることがある。

注記何も登録されていない状況からデータベースを構築するときに行われる登録試験も実施され得

る。

6.3.6.9

ハードウェア

評価がソフトウェアだけに関するものであり，幾つかの実装が比較される場合，スループットの測定は，

定められたハードウェア及び定められた実行環境で実施し，システムについては，スループット時間の試

験の実施のたびごとに再スタートさせてもよい。

注記ここで実行環境は，あらかじめ定められたオペレーティングシステム，あらかじめ定められた

コンパイルとリンクとのセットアップ，あらかじめ定められた登録簿に載っている（I/O，CPU

などの）重要な資源を消費しないようなバックグラウンドプロセスなどを含む。

6.4

報告方法

6.4.1

一般的な事項

評価の結果は，試験報告書の中で示されなければならない。

試験報告書の中には，評価の結果及び全体的な試験過程を文書化しなければならない。また，6.1〜6.3

に列挙されているすべての要求事項が文書化されなければならない。ある要求事項が不要であるか，記述

不可能である場合には，要求事項が不要であること，記述不可能であることを明記しなければならない。

例1 試験対象のバイオメトリックシステムが，複数回の試行又はトランザクションによる合致を許

していない場合，複数回の試行レベル及びトランザクションレベルについての報告は無意味で

ある。このような場合，報告書は“複数回の取組みレベルでの性能を報告する要求は適用対象

外である。”と報告する。

ある要求事項が，入手不能な情報のために述べられない場合，その報告書は，適用可能なデータが不明

であることを説明しなければならない。その報告書は，そのデータが不明な理由も説明しなければならな

い。

例2 機関がプライバシー保護の観点から人口統計的な情報の公開を許していない場合，試験報告書

にはプライバシーの問題から人口統計情報が記録されない旨を報告する。

報告書は，読者の区分に応じて，異なった日程で公開してもよい。

6.4.2

システム情報

6.4.2.1

仕様

試験の対象となるバイオメトリックシステムについて，試験責任者は次のような製品情報を報告しなけ

ればならない。

a) 取得装置について：製造者，モデル，バージョン，可能な場合はファームウェア。取得装置の中心的

取得構成要素が，指紋センサの周辺装置への組込みの場合など，サードパーティの装置内に統合され

る場合，中心的取得構成要素の製造者，モデル，バージョン，ファームウェアについて報告しなけれ

ばならない。

b) 比較アルゴリズムについて：プロバイダ，バージョン，改訂番号。

c) それを通じて各システムが試験されたプラットフォームの仕様。プラットフォーム，OS，処理能力，

メモリ，製造者，データベースのタイプ，データベースのサイズ，モデルなど，他に報告の必要な事

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

項があればこれらに制限するものではない。

6.4.3

データ収集過程

試験責任者は，データ収集に関連する次の情報を報告しなければならない。

a) 各性能要素についてのデータ記録の方法。そのシステムによって記録されていないものも含む。

b) 性能にかかわるデータ収集の検査及び確認のプロセス。そのシステムによって記録されていないもの

も含む。

試験責任者は，スクリーンショットか複製かは問わず，表及び実験記録などのデータ収集要素の例を提

出しなければならない。

6.4.3.1

構造

試験の対象となるバイオメトリックシステムについて，試験責任者は次の要素を報告しなければならな

い。

a) バイオメトリックデータの取得，処理及び保管の構造

b) システム各構成要素間のデータの流れ

6.4.3.2

出力

試験の対象となる生体認証システムについて，試験責任者は次のそれぞれについて報告しなければなら

ない。

a) そのシステムが報告を行う出力のタイプ。これは，比較スコア，受入・拒否の判断，候補リスト，登

録品質スコア，サンプル品質スコアが含まれるが，これらに限定されない。

b) 比較スコア：システムが報告可能な比較スコアの範囲及びそのとき装置提供者が設定したいき（閾）

値。

c) 登録品質スコア：システムが報告可能な登録品質スコアの範囲及びそのとき装置提供者が設定したい

き（閾）値。

d) サンプル品質スコア：システムが報告可能なサンプル品質スコアの範囲及びそのとき装置提供者が設

定したいき（閾）値。

e) それを通じてシステムから出力が提供される方法

6.4.3.3

実装方法

試験の対象となる各バイオメトリックシステムについて，試験責任者は，次のそれぞれに対応するシス

テム実装情報を報告しなければならない。

a) バイオメトリックシステム及びプラットフォームシステムの取得方法

b) システム実装へのサプライヤの関与のレベル

6.4.4

情報開示

6.4.4.1

対外的な報告

試験計画は，どの入力サンプル，中間的結果，出力結果がどのようなスケジュールで非提供者のだれに

入手可能となるかを開示しなければならない。

注記1 試験には秘密裏に行われるものもあるし，非公式のものもあるし，全面的に公開のものもあ

る。

注記2 全面的に公開可能な試験の場合には，出版物の名称及びサプライヤ，連絡先，利用規約，生

データ，バイオメトリック参照データ，生の比較スコア，トランザクション時間の記録，異

常なシステム挙動，誤り率，最終結果などが公開される。

注記3 比較試験は商業的に微妙な問題を引き起こす可能性がある。したがって，開示される結果が

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

何かを完全な形で正式に公表することは決定的に重要である。

6.4.4.2

サンプル特性の開示

試験計画は，どのサンプル関連情報がサプライヤに提供されるのか，また，どんなスケジュールで提供

されるのかを示さなければならない。これはサプライヤからの正式なコメントへの回答で修正される可能

性がある。

注記一般的にサプライヤが要求する情報であっても，一定の手順で得ることができないものは，提

供しないことが望ましい。サプライヤは合法的な方法でターゲットアプリケーションについて

調査する必要がある。実装に当たっては，試験実施者が設定する要求条件に適合した調整を行

う必要があるからである。そのような要求条件として，例えば，登録者数，利用者数，偽者数，

画像のサイズ，圧縮率，ビデオシーケンスの長さなどがある。

6.4.5

報告書の構成

試験報告書には，次の節を盛り込まなければならない。

− 実行の概要

− コーパスデータの特性

− 具体的な試験プロセス

− データ収集

− データ分析

− 記録の保管方法

− 性能結果

− 試験計画の全体

シナリオ評価

7.1

試験の設計

7.1.1

シミュレートされるアプリケーションの特徴

7.1.1.1

作業方針

シナリオ試験においては，モデルとされるアプリケーションが詳細に示されなければならない。

注記シナリオ試験においてモデルとされるアプリケーションは，はん（汎）用的なものから特定さ

れたものまで範囲があってもよい。はん（汎）用アプリケーションに対する試験では，屋内オ

フィス環境における1対1認証システムの試験のように，ある限られた数のパラメタが指定さ

れる。また，特定目的向けアプリケーションでは，屋内オフィス環境におけるトークンを用い

た1対1認証システムを使い，かつ，アプリケーションに習熟していない被験者が利用する場

合の試験のように，多数のパラメタが指定される。

7.1.1.2

比較機能性

照合，登録者限定識別，及び／又は登録者非限定識別をシナリオ試験に組み込むかどうかについては，

試験責任者が判断しなければならない。

評価される比較機能性は，プロトタイプ又はシミュレート対象アプリケーションに適用できなければな

らない。

シナリオ試験において一つ以上の比較機能タイプを選択した場合，その論理的根拠が提示されなければ

ならない。

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

注記1 典型的なシナリオ評価では，被験者が申告した身元情報に基づいてトランザクションを実行

する1対1システムを評価する。識別システムは，トランザクションがリアルタイムで動作

し，かつ，観測者がその結果を利用するに当たって必要なときに更なる相互作用をシステム

と行うために十分な時間が与えられる限り，シナリオ評価によって評価することができる。

注記2 シナリオ評価は照合システム及び識別システムの性能を比較してもよい。そのような試験は，

提示される結果の公正性を確保するために，試験の設計及び結果の報告方法に注意深いアプ

ローチを要求する。例えば，登録，本人のトライアル，偽者のトライアルの順序はシステム

が識別又は照合を実行するかどうかに依存して変えてもよい。

7.1.1.3

評価の環境

シナリオ評価が実施される環境は，次の項目を含めて報告しなければならない。

− 屋内又は屋外か。

− 屋内の場合は，施設のタイプ。

− 屋外の場合は，各要素が屋外にさらされている度合い。

試験時のシステム及びアプリケーションに関連のある環境条件を測定し，かつ，報告しなければならな

い。

例1 温度及び湿度は，ある種の指紋センサの性能に影響を及ぼす可能性があると考えられるので，

指紋認証技術のシナリオ評価においては，温度及び湿度が測定され報告されることも考えられ

る。

環境条件の測定は，時間的な環境条件を特徴づけられるよう，十分な期間を置いて実施しなければなら

ない。

注記環境条件は導入してもよく，評価の目的に合わせて具体的に制御しても又は何も拘束しなくて

もよい。

例2 空調設備は音声に基づく識別システムの性能に十二分に影響を及ぼす背景雑音を発生させる可

能性がある。

例3 窓からの光は，顔認識システムの性能に影響を及ぼす可能性がある。

7.1.1.4

試験基盤

システムの処理能力及び仕様は，評価されているシナリオに相応のものでなければならない。

7.1.2

試験の実施

7.1.2.1

試験情報及び一般的な試験の指示

シナリオ評価に先立って被験者に提供される試験情報及び試験に対する全般的な指示は，報告されなけ

ればならない。

注記1 試験情報は評価の全般的な目的，評価される装置又は技術の特徴，及びターゲットとなるア

プリケーションの特徴を含む。試験に対する全般的な指示は，全体的な試験の流れ及び試験

手順を含む。試験手順は，特定のシステムの使用法に制限されず，試験するシステムからシ

ステムへの移動方法などをも含む。

注記2 ある種のタイプの試験情報又は試験の指示全般を被験者に提供することで，被験者は装置と

相互作用する方法を知ることができる。例えば，被験者に偽者としてのトライアルに相当す

る生体情報のある種の提示方法を知れば，その被験者は異なった方法によって生体特徴を提

示するかもしれない。

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

7.1.2.2

訓練

シナリオ評価に先立って被験者に提供された訓練の範囲及び方法は，報告されなければならない。

注記1 訓練は，被験者と試験中のシステムとの相互作用を網羅する。これには各装置に対する生体

特徴の提示だけでなく，各システムからのフィードバック及びプロンプトが含まれる。

注記2 ターゲットのアプリケーションにとって，訓練なしの状態で使うことが適している場合，被

験者を訓練しないことが適しているとしてもよい。

注記3 訓練は，文書によっても，口頭による指示でも，又は両方によって行ってもよい。

注記4 登録と認識とで生体情報の提示又はシステムのフィードバックが異なる場合，登録及び認識

の訓練を別々に行うことが必要なことがある。

装置提供者が提供した手順書，指示，又はその他訓練ツールの利用については報告しなければならない。

被験者に訓練が提供される比較シナリオ試験では，訓練はすべてのシステムに対して横断的に整合性の

ある様式で実施されなければならない。試験者は，被験者の訓練と装置活用との間の平均的な持続時間が，

すべての装置についておおむね一貫していることを保障しなければならない。試験に先立って，被験者が

幾つかのシステムで直接訓練される場合，被験者が触れる最初の装置は後の評価で使用される装置よりも

有利になることがある。

7.1.2.3

立会人試験及び非立会人試験

被験者が試験にかかわる場合には，必ずその試験環境に1名の運用責任者及び／又はオペレータが立ち

会うのがよい。

注記運用責任者，オペレータ，又は双方が立ち会うことによって，試験機関は，被験者がバイオメ

トリックシステムに対して誤った操作又は反応をした場合に，これを検出又は訂正する機会を

得る。

7.1.2.4

ガイダンス

登録及び認識の過程で被験者に提供されるガイダンスは，試験対象のアプリケーションと一貫していな

ければならない。

注記1 シナリオ試験におけるガイダンスの度合いは，誤り率，特に生体特徴の取得失敗，登録失敗，

及びスループット率にそれ相当の影響を及ぼすことがある。評価の途中で提供されるガイダ

ンスを増加させることは，誤非合致率，取得失敗，登録失敗を減少させる傾向がある。過度

の又は不十分なガイダンスを提供することは，生体特徴の取得及び登録に関して，説明する

ことができない失敗を引き起こすことがある。

例1 ターゲットアプリケーションでガイダンスが提供されないバイオメトリックシステムを評価す

る場合は，ターゲットアプリケーションの性能にガイダンス使用が反映することはないとして

よいので，シナリオ試験でもガイダンスを用いない。

例2 ターゲットアプリケーションの使用と一貫している場合，被験者が認識の途中ではなく登録の

途中で装置を誤って使用した場合，運用責任者は被験者に訂正の指示を与えてもよい。

ガイダンスが被験者に提供されるシナリオ試験について，ガイダンスの方針は次の項目に焦点を当てて

文書化されなければならない。

− 登録又は認識の入力試行でガイダンスが許可されるポイント又はガイダンスが要求されるポイント

− 運用責任者が被験者に提供することになっている固有のガイダンス

− ある場合には，運用責任者の裁量によって被験者にガイダンスを与える局面

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

注記2 システムが被験者に与えるガイダンスは，被験者が生体情報取得装置を誤って使ったとき，

正しく生体情報を提示したにもかかわらず，システムがサンプルを取得できなかったときな

ど，例外的な場合にだけ提供される方針となっていることがある。運用責任者は，ガイダン

スを提供すべき例外的な場合に該当しているかを決定するために，生体情報の提示状況及び

／又はシステム応答の観察が必要とされることがある。逆に言えば，運用責任者が各被験者

にガイダンスを与えるべき状況がどのような場合なのかについて，ガイダンス方針に記載す

るのがよいことがある。

ガイダンスが被験者に提供されるシナリオ試験について，ガイダンスはすべてのシステムに対して横断

的に整合性のある様式で実装されていなければならない。

注記3 試験中のすべてのシステムに対して，横断的に整合するように最大限の努力をはらってガイ

ダンス方針を実装しても，被験者に与えられるガイダンスの程度の差によって，システムは

不注意な賞賛・けなしにあうことがある。使用が簡単であること，又は使用に際して訂正の

指示が自動的に提供されることに差別化の特徴があるシステムは，使用が難しいシステム，

又は使用に際して訂正指示がないシステムと同じほど強くはガイダンスが有益にならないこ

とがある。これは，与えられたモダリティに対する異なるシステムと同様，異なるモダリテ

ィ（例えば，顔認識及び指紋認証）のシステムについても同様のことがいえる。

オペレータのガイダンスがターゲットのアプリケーションに一貫した（事前に決定した）レベルを超え

る場合，このことは記録されなければならず，かつ，そのようなケースの割合も記録されなければならな

い。

7.1.2.5

試験の順序及び順化

複数のシステム試験においては，被験者が各システムと触れ合う順序を，順化，習熟，及び順序の効果

のつり合いを考えて調整しなければならない。すなわち，各システムは，最初のポジション，2番目のポ

ジション，更に最後のポジションといった具合に，おおむね等しい時間及び回数で試験することが望まし

い。また，各システムに先行して使われる他のシステムは，おおむね等しい回数とするのがよい。性能に

対する順序の効果が観察されれば，いずれも報告しなければならない。

注記シナリオ評価で複数のシステムを評価する場合，各システムを評価する順序は考慮すべき主要

な点である。バイオメトリックシステムの習熟度は，おそらくバイオメトリックシステムとの

少しのやりとりのうちに改善することができ，被験者は試験のセッションの過程で，評価を行

うモダリティとの相互作用を行う最も効果的な方法を学習する。そのため，評価を行うモダリ

ティのうちで最初に試験されるシステムは，後に試験されるシステムに比べて不利になること

がある。同様に，複数のシステムを通してサイン又はパスフレーズの暗唱を何度も要求された

りすれば，被験者が試験のセッションの過程の中で疲労してしまうことがある。

試験は，センサのサンプル処理能力に影響を与えることが知られている生体特徴の時間的条件が最小に

なるように設計しなければならない。

例被験者は寒い屋外環境から試験室に入り，すぐに指紋認証装置を使う。多くの指紋認証装置は，

室温の指紋からよりは，冷たく，かつ，乾いた指紋からサンプルを取得しにくい。そのため，試

験において被験者が使う最初の指紋認証装置は，通常の屋内の温度及び湿潤に戻った後の指紋で

利用される後続の装置と比べて，おそらくはより誤りやすい。試験を適切に設計すれば，被験者

が試験環境に順応するのに十分な時間が確実に与えられることもある。これが重要でない場合，

試験の順序は，順化の効果が問題の装置を通じて一貫して平等に分配されるように設定するのが

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

よいかもしれない。

7.1.2.6

被験者の身元情報

被験者の身元情報を使うには，次のように指定しなければならない。

− 被験者を識別する身元情報

− 照合システムで身元情報を申告する方法

− 識別システムで被験者の真の身元を確定する方法

7.1.3

取組み及び決定方針のレベル

7.1.3.1

登録における取組み及び決定方針のレベル

試験の対象となる各システムについて，登録における取組み及び決定方針のレベルを指定しなければな

らない。例えば次による。

− 登録のために要求され，かつ，許容される，生体特徴の提示，入力試行，並びにトランザクションの

最小回数及び最大回数

− 各登録のための生体特徴提示，入力試行又はトランザクションのときに許容され，かつ，要求される

最大所要時間

注記1 システムは決められた所要時間の後に，登録の入力試行又はトランザクションを終了させ

てもよい。これは，次の事項に依存させてもよい。(1)システムが，取得した生体特徴のサ

ンプルの個数が不十分であったという理由で拒否した場合，又は(2)生体特徴サンプルの採

取ができない場合。

注記2 システムは1回の入力試行の後に被験者を登録できるようにしても，又は登録に対して複

数の試行を要求してもよい。

注記3 登録処理における生体特徴の提示，入力試行，及びトランザクションの最大所要時間は，

それぞれ，登録時の生体特徴の提示の制限，登録時の入力試行の制限，及び登録時のトラ

ンザクションの制限に従う。

7.1.3.2

比較における取組み及び決定方針のレベル

試験の対象となる各システムについて，比較における取組み及び決定方針のレベルは，指定されなけれ

ばならない。例えば次による。

− 比較のために許容されるか又は要求される，生体特徴の提示，入力試行，並びにトランザクションの

最小回数及び最大回数

− 各比較提示，入力試行又はトランザクションのために要求される最小所要時間及び許容される最大所

要時間

注記1 システムは決められた所要時間の後に比較の入力試行又はトランザクションを終了させても

よい。これは，次の事項に依存させてもよい。(1)システムが，取得した生体特徴のサンプル

の個数が不十分であったという理由で拒否した場合，又は(2)生体特徴サンプルの採取ができ

ない場合。

注記2 システムは1回の入力試行の後に照合を実施できるようにしても，又は照合に対して複数の

試行を要求してもよい。

注記3 照合処理における生体特徴の提示，入力試行，及びトランザクションの最大所要時間は，そ

れぞれ，照合時の生体特徴の提示の制限，照合時の入力試行の制限，及び照合時のトランザ

クションの制限に従う。

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

7.1.3.3

参照データへの順応

試験責任者は，試験中のシステムが認識のトランザクションにバイオメトリック参照データへの順応を

活用しているかどうか示すことが望ましい。システムがバイオメトリック参照データへの順応を活用して

いる場合，順応の活用方法が報告されることが望ましい。バイオメトリック参照データへの順応が起こっ

ている本人と偽者の識別トランザクションとの割合が分かっている場合，それらの割合が報告されること

が望ましい。

7.1.3.4

取組み及び決定方針のレベルの適切さ

登録及び比較の取組み及び決定方針のレベルは，試験中のシステム及びシナリオに適したものでなけれ

ばならない。

注記入力試行及びトランザクションの制限が試験中のすべてのシステムに対して等価となるように

設定することが望ましい。一方，システムによる生体特徴の取得プロセス，登録プロセス，及

び比較プロセスは，実質上，変化してもよい。

例ある指紋認識システムでは，登録における入力試行がある回数に達すると，失敗であると宣言す

る。これに対してある顔認識システムでは，あらかじめ設定した所要時間に達したときに失敗で

あると宣言する。

7.1.3.5

取組み及び決定方針の初期レベル及びカスタマイズされたレベルの実装

各システムについて，取組み及び決定方針について，システム固有のレベル及びカスタマイズされたレ

ベルの実装を指定しなければならない。

注記あるシステムでは，登録及び比較における入力試行回数又は所要時間が，あらかじめ定められ

た回数又は時間にだけ許容されている場合，システム固有の，調整されていない登録又は照合

機能を用いているかもしれない。それに対してあるシステムでは，登録及び比較における試行

回数又は所要時間が，試験責任者によって修正できるような，調整可能な登録又は照合機能を

用いているかもしれない。

7.1.4

複数回の訪問及びトランザクション

性能推定のためのデータ量を最大化するために，複数のトランザクション及び複数の訪問を利用しても

よい。これが行われるとき，繰返しトランザクションは，可能である限り，試験下のシナリオに忠実であ

ることが望ましい。通常，これは複数の訪問は同一の訪問での複数回トランザクションより好まれるとい

うことを意味している。

注記試験責任者の設定する試験母集団へのアクセスのレベルに従い，各被験者は複数回の訪問の行

程で訪問ごとに複数回のトランザクションを実施してもよい。

登録からサンプル特徴の取得までの経過時間の分布が計算されなければならない。

7.1.5

本人及び偽者の試行の実施

本人及び偽者のトランザクションの実施方法を指定しなければならない。

被験者識別の試験のプロセス及びシステムの動作は，入力試行及びトランザクションが受容された場合

と拒絶された場合とで違えないことが望ましい。

注記シナリオ試験の実施に際して位置付けられる基本的な問題は，本人と偽者との比較における入

力試行の結果がトランザクションの原理に従って記録されるかどうかである。例えば，N回の

生体特徴の提示，入力試行，トランザクション，又は各バイオメトリック参照データ比較に基

づいて求められる照合スコアに従った，合致又は非合致の決定が挙げられる。シナリオ試験の

規約が，誤り率が実時間ではなく事後のスコア解析を通して決定され得るように，本人及び偽

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

者の入力試行に従った照合スコアを記録することを示していてもよい。また，ある規約が，本

人か偽者かの決定が実時間で記録されるためには，本人判定の決定を下すいき（閾）値を使用

することが必要であると示していてもよい。

7.1.6

データ収集

データ収集は，次のように指定しなければならない。

− 各性能要素についてのデータ記録の方法。システムによって記録されないものも含める。

− 性能データ収集の監査及び有効性確認のプロセス。システムによって記録されないものも含める。

試験責任者は，スクリーンショットか複製かは問わず，表計算，記録など，データ収集の各要素の例を

試験報告で提供しなければならない。

7.2

被験者集団

7.2.1

一般的な事項

試験システムにおける登録と認識との目的のために被験者集団を召集しなければならない。

7.2.2

習熟

被験者が試験中の各装置に慣れている度合いを報告しなければならない。

被験者の習熟のレベルが，試験の母集団を習熟のレベルに従って明確に区分できるような場合，誤り率

を各分類について報告することが望ましい。

注記1 被験者集団の試験下のデバイスに対して習熟した度合いは，誤り率とスループット率とに相

当な影響を及ぼし得る。試験中のデバイスに習熟した被験者集団による試験は，習熟してい

ない被験者集団による試験に比べて，誤非合致率，取得失敗，及び生体情報登録失敗が小さ

くなる傾向にある。

注記2 被験者集団における習熟度はゼロ（被験者集団のすべてのメンバに対して経験なし。）から全

体値（被験者集団のすべてのメンバが広い範囲にわたる経験をもつ。）までの範囲を取っても

よい。被験者集団の習熟度に関する被験者からの報告を避けるためには，使用頻度に関する

履歴のような，習熟に関する定量的データが報告されることが望ましい。

習熟した被験者集団を用いる評価においては，その被験者集団がどのような方法によって試験中の各装

置に習熟したかを報告しなければならない。

例被験者集団は，雇用のときの講習会，及び試験環境における事前評価での使用又は訓練を通して，

試験中のデバイスに対して経験を積んでいるかもしれない。

複数の装置を評価するとき，被験者集団の習熟度は, 試験対象となるすべての装置に対して等しくなけ

ればならない。

注記3 習熟は被験者が装置に慣れることに対して測定されるが，ある種のタイプの装置に関する経

験は，同様の装置に被験者又は被験者集団が習熟するために十分なことがある。例えば，ス

イープ動作で指紋を提示する指紋認証装置に対する習熟は，同様の提示方法を行う他のデバ

イスに対しても拡張可能なことがある。

注記4 習熟の効果は試験下の異なるデバイスに対して横断的に等しく影響を与えないことがある。

習熟は，生体特徴の提示過程に注意深い位置合わせ又はフィードバックのループがある装置

を評価するよりも，生体特徴の提示過程が受動的な装置を評価するときの方が，性能に影響

を与える要因になりにくい傾向がある。同様に習熟の効果は，異なるモダリティに対して横

断的に等しく性能に影響を与えることはないかもしれない。

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

利用者がおおむね習熟しているアプリケーションの性能を測定するシナリオ評価では，試験中の装置に

習熟した被験者集団を使用することが望ましい。その利用者があまり習熟していないアプリケーションの

性能を測定するシナリオ評価については，試験中の装置に習熟していない被験者集団を使用することが望

ましい。

注記5 習熟した被験者集団を召集することは困難なことがある。被験者は習熟をエミュレートする

ための評価に先立って訓練されてもよい。

7.2.3

被験者集団の構成

被験者集団の構成は，年齢及び性別の分布を含めて報告しなければならない。

注記1 有用な場合，被験者の教育レベル，職業及び人種も報告されることが望ましい。

注記2 ある状況において試験責任者は，被験者がある要素の報告を拒否することを許可する必要が

あるかもしれない。

注記3 通常，シナリオ評価において，被験者集団の構成は召集を通して制御される。これはシナリ

オ評価を，被験者の母集団が外部から指定されているある種の運用評価と区別すると同様に，

データが既に収集されているある種のテクノロジ評価と区別する。

注記4 シナリオ評価によって年齢，性別，人種，教育レベル，職業，又はその他の関連する要因に

よる性能の違いの区別を試みることができるが，十分な規模の被験者を募集するのは困難で

あるか又は費用がかかることがある。

7.2.4

被験者の管理

被験者の管理プロセスについては，次の事項を含めて指定しなければならない。

− 被験者の初期登録方法

− 被験者の一意性を保障する方法

− 収集された個人データの量及びタイプ

− 使用したトークン又は標章

7.3

性能の測定

7.3.1

一般的な事項

試験責任者は，7.3.2〜7.3.5に列挙されている事柄に加えて，シナリオ試験によって生成される性能測定

値のタイプを決定しなければならない。

シナリオ試験では，次の事項を記録するか又は計算しなければならない。

a) 本人被験者に対し，サンプル特徴の登録から取得までの間の経過時間の分布

b) 誤り回数，誤り率，試験母集団，及び実施されたトランザクションの回数に基づく，試験結果の信頼

性

c) 人口統計グループによって得られる結果，異なる環境の状況に関連する結果，又はコーパスのその他

の論理的セグメントによる結果

7.3.2

登録

試験されるバイオメトリックシステムについて，生体情報登録失敗率を計算しなければならない。

登録失敗を計算するために用いられた被験者及びトランザクションの数を計算しなければならない。

登録するために複数の提示，入力試行，若しくはトランザクションが許容されるか又は要求されるシス

テムについては，登録失敗を，観察される最低から最高までの各取組みレベルで計算しなければならない。

例登録するために2〜5回の入力試行が許容されるシステムに対しては，2回，3回，4回及び5回

の入力試行で登録可能な被験者の割合(%)を計算することができる。さらに，そのシステムが登録

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

するために2回のトランザクションが許容されるのであれば，1回，2回のトランザクションで登

録可能な被験者の割合(%)も計算することができる。

試験される各バイオメトリックシステムについて，次の事項を記録するか又は計算することが望ましい。

a) バイオメトリック特徴が欠如しているために登録できない被験者の割合 (%)

b) センサに第一の特徴を最初に提示したときから，登録に成功するまでに測定される，登録にかかる時

間の平均値，中間値，最小値，最大値及び標準偏差

c) 登録品質のスコアの分布

7.3.3

取得失敗

シナリオ試験は，照合又は識別に対し，システムが十分な品質の画像若しくは信号の取得又は位置合わ

せに失敗した入力試行の割合を記録しなければならない。これは取得失敗率(FTA)である。

この率に達したときに用いられた提示回数，及び取得失敗が公表されたポイントを計算しなければなら

ない。これらの率に達したときに用いられた被験者数及びトランザクション回数を記録しなければならな

い。

注記シナリオ試験において，FTAは，符号化又は比較の構成要素と同様，センサ上のソフトウェア

又は取得ワークステーションによって公表され得る。そのような試験において，FTAは，典型

的に，画像又は信号の取得に失敗すること，又はこれらの位置決めに失敗することに起因し，

処理（例えば，特徴の抽出又は参照データとの比較）の失敗によっても引き起こされることが

ある。

FTAを計算する式は，この規格群の第1部による。

7.3.4

照合における測定基準

試験された各照合システムに対して，次の項目を記録するか又は計算しなければならない：

a) 入力試行レベルでの誤非合致率及び誤合致率。そのようなデータはROC曲線又はDET曲線の形で表

さなければならない。これらの誤り率を計算するために用いた被験者数及び入力試行回数を計算しな

ければならない。

b) 試験の設計が，誤受入率(FAR)及び誤拒否率(FRR)と，誤非合致率及び誤合致率とが一致しない場合は，

他人受入率及び本人拒否率。それらのデータは，ROC曲線又はDET曲線の形で表さなければならな

い。これらの率に到達するために用いた被験者数及びトランザクションの回数を計算しなければなら

ない。照合に複数の提示，入力試行，若しくはトランザクションを許容又は要求するシステムについ

ては，観察される最低から最高までの各取組みレベルでFRR及びFARを計算しなければならない。

例照合において1〜3回の試行が許容されるシステムに対しては，1回，2回，及び3回の試行で

照合可能な被験者の割合(%)を計算することができる。さらに，そのシステムが照合において2

回のフルトランザクションが許容されるのであれば，1回，2回のトランザクションで照合が成

功する被験者の割合(%)も計算することができる。

注記1 合致スコアではなく，合致又は非合致の決定の結果を返すシステムに対しては，性能は

ROC曲線又はDET曲線上で一つの点として計算される。

注記2 異なる取組みレベルでの性能の結果を報告するときの情報は，附属書Cを参照。

試験される各バイオメトリックシステムについて，次の項目を記録するか又は計算することが望ましい。

c) 本人被験者及び偽者に対する合致スコアの分布

d) センサに第一のバイオメトリック特徴を最初に提示したときから，照合に成功するまでに測定される，

照合にかかる時間の平均値，中間値，最小値，最大値及び標準偏差

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

7.3.5

識別における測定基準

登録者限定識別評価については，累積識別精度特性を計算しなければならない。

登録者非限定識別評価については，次の項目を記録するか又は計算しなければならない。

a) ［できれば，いき（閾）値の範囲にわたった］誤合致率及びそれに対応する誤非合致率

b) 誤受入識別率及びそれに対応する誤拒否識別率

以上の項目は，合致に向けて複数の提示，入力試行，及びトランザクションが許容されるシステムにつ

いては，各取組みのレベルで計算しなければならない。

7.3.6

生体情報登録失敗率及び取得失敗率を含む一般化誤り率

試験下の各実装について，試験責任者はGFARとGFRRとを決定しなければならない。GFARとGFRR

とは，次に従って決定しなければならない。

− （受入も拒否も）失敗した偽者トランザクション及びすべての偽者トランザクションのうちの登録に

失敗した個人による偽者トランザクションを含む。

− （受入も拒否も）失敗した本人トランザクション及びすべての本人トランザクションのうちの登録に

失敗した個人の本人トランザクションを含む。

− （受入も拒否も）失敗したトランザクション及び誤拒否によって登録が失敗した個人の本人トランザ

クションを数える。

7.3.7

中間的な分析

試験の終了に先立って，登録及び照合の性能の代表的な要素の分析を暫定的に実施しなければならない。

そうした暫定的な分析は，データ収集プロセスを有効にし，システムが試験計画で示された方法で機能す

ることを保障するのに十分でなければならない。暫定的な分析へのアプローチは報告されなければならな

い。試験実施の変更又はシステム要素の変更の結果として，これらの暫定分析の間に集められた変則的な

結果を記録しなければならない。

注記シナリオ評価では，蓄積されたデータではなく生きた被験者が頼りであり，試験のシナリオを

簡単に再生成できないことから，暫定的な分析が必要である。

7.4

報告方法

7.4.1

一般的な事項

評価の結果は，試験報告書の中に示さなければならない。

試験設計に関するすべての規範要素と7.1〜7.3に示す性能測定とは，試験報告書で文書化しなければな

らない。7.1〜7.3の要求事項が適用の範囲外であるか，又は適用不能な場合，その報告書は，その要求事

項が適用の範囲外であるか，又は適用不能なことを述べなければならない。

例試験対象のバイオメトリックシステムが合致させるために複数回の試行又はトランザクションが

できない場合，複数回の試行レベル及びトランザクションレベルを報告できない。報告書には複

数回の取組みレベルでの性能を報告する要求に対応不可能であることを記載するのがよい。

ある要求事項が，入手不能な情報のために述べられない場合，その報告書は，適用可能なデータが不明

であることを説明しなければならない。その報告書は，そのデータが不明な理由も説明しなければならな

い。

例機関がプライバシー保護の観点から人口統計的な情報の公開を許していない場合，試験報告書に

はプライバシー上の理由から人口統計情報が記録できない旨を報告する。

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

7.4.2

システム情報

7.4.2.1

一般的な事項

試験責任者は，試験を実行するのに十分なシステムに関する情報を収集し，かつ，試験の結果を報告し

なければならない。

注記1 複数の異なるコンポーネントを評価するために共通のハードウェアプラットフォームを用い

るテクノロジ評価と異なり，シナリオ評価では，スタンドアロン装置からマルチプロセッサ

ワークステーションまで幅のある，異なるプラットフォーム上で試験される複数のシステム

を伴ってもよい。

注記2 シナリオ評価では，カスタマイズされていないはん（汎）用システム（COTSシステム），カ

スタマイズされたシステム，又はそれが混合したシステムを受け入れてもよい。COTSシス

テムだけへの要求事項，又はカスタマイズされたシステムだけへの要求事項に要求事項を限

定することには有利なこともある。COTSシステムを試験するのであれば，試験組織は，装

置の性能が，市場で入手可能なセンサとアルゴリズムとの組合せを反映させることに対して

高い必然性をもつ。カスタム化を許容するのであれば，試験組織は，試験の与えられたシナ

リオの要求事項に合致するようにセンサとアルゴリズムとの組合せを修正することが可能で

あることに対して高い必然性をもつ。バイオメトリックシステムのカスタム化は，試験の具

体的な人口分布に適用するように登録処理にかかるいき（閾）値を修正することが必要とな

る。評価のためのシステムのカスタム化は，その結果，利用者を登録及び確認するバイオメ

トリックシステムの基本的な能力を反映するより，具体的なシナリオを示すためにシステム

をカスタマイズする装置提供者の能力を反映することがあるので，一般的に理想的なプロセ

スであると考えてはいけない。しかし，このことは，ある種の試験規約に合うように装置提

供者がシステムをうまくカスタマイズする方法について現実に興味がもたれる場合があるの

で，覚えておくのがよい。

7.4.2.2

仕様

試験の対象となる各システムについて，次の項目を報告しなければならない。

a) 取得装置について，製造者，モデル，バージョン，可能な場合はファームウェア。取得装置の中心的

取得構成要素が，指紋センサの周辺装置への組込みの場合など，サードパーティの装置内に統合され

ている場合，中心的取得構成要素の製造者，モデル，バージョン，及びファームウェアについて報告

しなければならない。

b) 生体認証アルゴリズムについて，プロバイダ，バージョン，リビジョン

c) シナリオ試験が，デモ用アプリケーション又は論理的アクセスインタフェースのような生体認証のア

プリケーションを含んでいる場合，プロバイダ，タイトル，バージョン，及びアプリケーションのビ

ルド番号

d) パソコン(PC)，個人情報端末(PDA)，又はその他のコンピュータ装置上にあるシステム又はそれらを

通じて試験されるシステムに対して，プラットフォーム，OS，処理能力，メモリ，製造者，及びコン

ピュータ装置のモデル番号

7.4.2.3

アーキテクチャ

試験の対象となる各システムについて，次の項目を報告しなければならない。

a) バイオメトリックデータの取得，処理及び記憶のアーキテクチャ

b) システム構成要素間のデータの流れ

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

7.4.2.4

出力

試験の対象となる各システムについて，次の項目を報告しなければならない。

a) 照合スコア，受入・拒否の決定判断，候補リスト，登録品質のスコア，サンプル品質のスコアなど，

入手可能なシステムの出力

b) 各システムの出力について，システムが出力可能な値の範囲

c) サプライヤの提供によるいき（閾）値及び値，又はパラメタの説明

例あるシステムは0から100までの比較スコアを提供する能力をもち，0は最も弱い一致を示し，

100は最も強い一致を示し，75は1対1一致のいき（閾）値を示す。

d) システムから出力が提供される方法

例比較スコアは，アプリケーションで記録されるか又はグラフィカルな利用者インタフェースを

通して視覚的に示されてもよい。

7.4.3

システムの取得及び実装

試験の対象となる各システムについては，次の項目を報告しなければならない。

a) バイオメトリックシステム及びプラットフォームシステムの取得方法

b) システムの実装における装置提供者の関与レベル

7.4.4

試験環境の物理的なレイアウト

試験環境の物理的なレイアウトを定量的に報告しなければならない。次の項目を含めなければならない

が，次の項目に限定はしない。

a) シナリオ試験が行われた場所の見取り図

b) 自然光及び人工的な照明の有無

c) バイオメトリックデータ取得装置の配置

d) システムの概略に沿って設定された，試験環境内の各システムの相対的な位置関係

e) 試験の間の装置及び被験者の相対的な位置関係を明確に示すのに十分な試験環境の写真画像

7.4.5

報告書の構成

試験報告書に次の節を盛り込まなければならない。

− 試験概要

− シナリオの説明

− 具体的な試験プロセス

− データ収集

− データ分析

− 記録の保管方法

− 性能結果

− 試験計画の全体

テクノロジ評価及びシナリオ評価に適用可能なその他の諸問題

8.1

試験の各当事者

評価は，試験者によって行われなければならない。試験中のバイオメトリックシステムは，一つ以上の

サプライヤから提供されなければならない。試験者及びサプライヤが同じである場合，又はどこかに属し

ているか，独立していない場合は，そのことを試験報告書に記載しなければならない。

テクノロジ評価及びシナリオ評価へのサプライヤの関与は，ソフトウェア及び／又はハードウェアの提

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

供，設置及び設定に限定される。試験機関は，サプライヤの関与なしに，登録及び比較試験を実施する。

注記1 評価が，誤りの可能性なしにサプライヤ自身による最善の努力結果を示すものであると試験

機関が認めることが極めて重要な場合には，試験者及びサプライヤが8.1で規定することと

異なる役割となる違う種類の試験が行われる。サプライヤの自己試験として知られているこ

の種の試験は，試験者が供給した材料を用いて，サプライヤ自身のシステムの供給，設定及

び操作が許される。試験結果が不完全であるとの主張がなされた場合でも，それは試験者の

責任ではない。このような評価は，クライアントサーバパラダイムを使用することが望まし

い。このような試験は，経費，ゲーミング（不正）及びサンプルプライバシーに関して問題

を含む。

注記2 クライアントサーバパラダイムについては，附属書Dを参照。

8.2

公平性

競合比較のための試験は，特定のサプライヤを優遇しないように設計しなければならない。

注記1 8.2は，内部の研究開発目的のためにテクノロジ評価を実行している機関には，規定としては

適用しない。

注記2 評価が発表された後，有力なサプライヤは一般的に多くの問題（サンプルフォーマット，属

性，品質，インタフェース，管理手順など）に関する情報を得るための“努力を重ねる”も

のであるので，これらの質問に対する答えは公表されることが望ましい。WebベースのFAQ

(Frequently Asked Question)は，適切な手段としてよい。質問者の身元は伏せるのがよく，こ

の実行そのものはFAQ及び試験発表の序文に記される。

注記3 テクノロジ試験では，試験者は一般的に，試験で使われるフォーマットで，すべてのサプラ

イヤに代表的なサンプルデータを公表する。

試験責任者は，試験下にある実装に関する設定，修正，改良及び適合について，試験機関側の関与につ

いて文書にしなければならない。

試験責任者は，評価の結果に実質的な影響を及ぼす試験機関側の知的又は物理的な入力について文書に

しなければならない。

複数の構成要素又はシステムを試験する場合，試験者は，コンピュータシステムが同等のハードウェア

及び操作システム上で試験されているかどうか，又はその操作システムが，システム試験の方法によって

システム内で各試験セグメントに先立って再インストールされたかどうかを報告することが望ましい。

8.3

試験システムに含まれる基礎的事項

試験責任者は，テクノロジ評価及びシナリオ評価において，評価対象となったアルゴリズム及びシステ

ムの採択根拠について報告しなければならない。アルゴリズム及びシナリオを採択した根拠としては，次

のようなものが考えられる。

a) 公開募集。

b) 試験機関による選択。その場合は選択基準を報告しなければならない。

c) そのシステムを試験するという，サプライヤ又は第3者機関との契約。

テクノロジ評価及びシナリオ評価においては，単一のバイオメトリックシステム，又は複数のバイオメ

トリックコンポーネント若しくはシステムを取り込むことができる。また，多重バイオメトリックコンポ

ーネント又はシステムを組み込むこともできる。複数のシステムを試験することによって，異なるシステ

ムを評価するときの一定の性能基準を導くことができる可能性がある。例えば，何らかの異常による性能

の異常値は，単一システムの試験からは発見することが困難な場合がある。試験の対象となるシステムの

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

数は，予算的な制約，適合する技術の入手可能性，又はサンプル若しくは処理データの取得に要する時間

に制約される。

注記複数システムでの評価に関しては，附属書Eを参照。

8.4

FAQの使用

競争的テクノロジ評価又はシナリオ評価において，試験機関とサプライヤとの間のコミュニケーション

手段としてFAQを設置してもよい。それぞれの質問者の名前は伏せることが望ましい。

8.5

法的諸問題

テクノロジ試験及びシナリオ試験の設計，実施及び報告書作成の法的諸問題に対処する方法をもつこと

が望ましい。装置提供者と試験機関との間で，秘密保持契約(NDA，non-disclosure agreement)を取り交わす

ことも推奨される。値域によって，被験者と試験機関との間のデータプライバシー協定が必要とされるこ

とがある。

8.6

試験ソースコードの公表

試験のタイプ及び目的によって，サプライヤに試験ソースコードを公表することは適切な場合もある。

8.7

試験報告書に関する装置提供者のコメント

試験のタイプ及び目的によって，装置提供者が試験機関から指示された報告書の公表前の版にコメント

することが適切な場合もある。

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

附属書A

（参考）

主要なテクノロジ試験タイプに対する段階及び行為

A.1 簡易照合試験

簡易照合試験は，あるデータベースにおけるアルゴリズムの基礎的なバイオメトリック認識能力の最も

基本的な評価である。この試験は，コンポーネントの開発及び比較システムの評価に繰り返して使うこと

ができる。また，データセットの“困難さ”を評価するために使うことができる。

簡易評価では，誤拒否率，誤非合致率，誤受入率及び誤合致率が算出される。

例単一登録者システム［PDA（携帯情報端末）のようなもの］における認証が代表例であろう。

表A.1−試験手順

段階

行為

データ抽出

1 二つの区分を作成する。

1. E：登録サンプルを表す，各被験者の第1番目のサンプル
2. U：利用者サンプルを表す，E中の各被験者の第2番目のサンプル

実行

2 バイオメトリック参照データを作成する。

1. Eのすべてのサンプルでバイオメトリック参照データ生成器を実行する。
2. 各操作の時間を記録し，結果を格納する。
3. 登録不能及び登録失敗が明らかとなったサンプル割合を記録する。
4. （登録に失敗しなかった）バイオメトリック参照データを格納する。

3 サンプル特徴を抽出する。

1. 順列を保持し，Uの要素をシャッフルする（Eの要素に戻り合致するように）。
2. Uのすべての原サンプルで特徴抽出器を実行する。
3. 各操作の時間を記録し，結果を格納する。
4. 使用に適さない及び取得失敗が明らかとなったサンプル割合を記録する。
5. （取得に失敗しなかった）サンプル特徴データを格納する。

4 トランザクションリストを作成する。

1. EとUとの同一被験者同士のN個のマッチングペアAについて，バイオメトリック参照デー

タ及びサンプル特徴のリストを作る。

2. Eのある被験者及びUのそれ以外のN-1個の被験者，合計でN (N-1)の非マッチングペアBに

ついて，バイオメトリック参照データ及びサンプル特徴のリストを作る。

3. AとBとを連結してCとし，シャッフル（ランダムに並べ替えを）する。Cは合致，又は非

合致の状態を保持する。

5 完全な相互比較を行う。

1. Cから作られる各ペアで照合器を実行する。
2. 各操作の時間を記録し，合致及び非合致ペアを別々に記録する。
3. 合致及び非合致スコアの個々のリスト中に各比較スコアを付け加える。

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

表A.1−試験手順（続き）

段階

行為

報告

6 DET曲線を算出する。

1. 一意な比較スコアの集合Sを作る。
2. 集合Sからの各値sに対して

a. s以下の比較スコアとなる本人の割合，すなわち，誤非合致率を算出する。
b. 6.3.5の式を使用することによって誤非合致率から誤拒否率を算出する。
c. s以上の比較スコアとなる偽者の割合，すなわち，誤合致率を算出する。
d. 6.3.5の式を使用することによって誤合致率から誤受入率を算出する。

3. すべてのsについて，（誤受入率，誤拒否率）を軸として，DET曲線をプロットする。

7 処理量統計を算出する。

1. 成功及び（個々に）失敗したバイオメトリック参照データを生成する。
2. 成功及び失敗した本人サンプル又は偽者サンプルの特徴抽出を行う。
3. 合致及び非合致を別々に比較する。

8 結果をまとめ，報告方針に基づいて報告する。

注記1 第1項目に示されるとおり，A.1では，各個人のサンプルについて，第1サンプルを登録サンプル，第2サン

プルを利用者サンプルとして，サンプルセットE及びUを構成する。試験対象となる装置が登録サンプルと
利用者サンプルとで異なる処理を行うものである場合（非対称である場合）には，原サンプルセットE及び
Uを入れ替えて再試験することができる。しかし，ターゲットアプリケーションの見本にならない可能性が
ある。

注記2 （Eの登録者又はUの利用者として）偽者が以前に使用していた別のサンプルであるかどうかで決まる偽者

の試行結果の証拠がある場合には，真の偽者試験が必要とされる。これはIからのサンプルは，登録者の役割
として決して使われないようなEとペアにされる真の偽者という第3番目のサンプルの区分Iを伴う。

A.2 複数の登録者による照合試験

複数の登録者による照合試験は，複数利用者のバイオメトリックデバイスの評価として修正される部分

があるが，簡易評価と類似している。この種の試験は，コホート正規化によるような他の登録されたバイ

オメトリック参照データを利用することが可能な改良された照合の説明をすることができる。複数登録者

における照合試験は，線形な登録された母集団を確認することの網羅的な要求を伴っている。試験におけ

るアルゴリズムは，従属しているバイオメトリック参照データを作成するため，又は正規化するために，

他の登録データを利用することもあり得る。

複数人の登録者を用いた照合試験では誤拒否率，誤非合致率，誤受入率及び誤合致率が算出される。

例ビルの物理的なアクセス制御をする照合

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

表A.2−試験手順

段階

行為

データ抽出

1 二つの区分を作成する。

1. E：登録サンプルを表す，各被験者の第1番目のサンプル
2. U：利用者サンプルを表す，E中の各被験者の第2番目のサンプル

実行

2 登録する。

1. サプライヤの登録データの構造(EDS)を初期化する。
2. EからのNサンプルの各々について，バイオメトリック参照データ生成器を実行する。

a. 各操作の時間を記録し，結果を格納する。
b. 登録に失敗しなければ，EDSにバイオメトリック参照データを付け加える。
c. 登録不能又は登録失敗が明らかとなったサンプルの割合を記録する。
d. EDSを仕上げ処理する。
e. 各操作の時間を記録し，結果を格納する。

3 サンプル特徴を抽出する。

4 トランザクションリストを作成する。

1. 空のリストAを作成する。
2. U中の人物からの各サンプル特徴について，これとEDS中に合致するサンプルの整数インデ

ックスとをペアにし，リストAに加える。

3. 空のリストBを作成する。
4. U中のＭ番の人物からの各サンプル特徴について，EDS中に非合致のエントリのN-1個すべ

ての整数インデックスとペアにし，リストBにそれらを加える。

5. AとBとを連結してCとし，シャッフル（ランダムに並べ替えを）する。Cは合致，非合致

の状態を保持する。

5 完全な相互比較を行う。

報告

6 1. 一意な比較スコアの集合Sを作る。

2. 集合Sからの各値sに対して

a. s以下の比較スコアとなる本人の割合，すなわち，誤非合致率を算出する。
b. 6.3.5の式を使用することによって，誤非合致率から誤拒否率を算出する。
c. s以上の比較スコアとなる偽者の割合，すなわち，誤合致率を算出する。
d. 6.3.5の式を使用することによって，誤合致率から誤受入率を算出する。

3. すべてのsについて，（誤受入率，誤拒否率）を軸として，DET曲線をプロットする。

7 処理量統計を算出する。

1. 成功及び（個々に）失敗したバイオメトリック参照データを生成する。
2. 成功及び失敗した本人サンプル・偽者サンプルの特徴抽出を行う。
3. 合致及び非合致を別々に比較する。

8 結果をまとめ，報告方針に基づいて報告する。

A.3 複数の登録者及び真の偽者を用いた照合試験

複数の登録者と真の偽者とを用いた照合試験では，偽者である非登録人物を含ませることによって，バ

イオメトリック参照データに依存する新たな変数を試験項目に加えることになる。

複数の登録者及び真の偽者を用いた照合試験では，誤拒否率，誤非合致率，誤受入率，及び誤合致率が

算出される。

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

表A.3−試験手順

段階

行為

データ抽
出

三つの区分を作成する。
1. E：登録サンプルを表す，各被験者の第1番目のサンプル
2. U：利用者サンプルを表す，E中の各被験者の第2番目のサンプル
3. I：E中に存在しない各人物からの一つのサンプル

実行

登録する。
1. サプライヤの登録データの構造(EDS)を初期化する。
2. EからのNサンプルの各々について，バイオメトリック参照データ生成器を実行する。

a. 各操作の時間を記録し，結果を格納する。
b. 登録に失敗しなければ，EDSにバイオメトリック参照データを付け加える。
c. 登録不能又は登録失敗が明らかとなったサンプルの割合を記録する。

3. EDSを仕上げ処理する。各操作の時間を記録し，結果を格納する。

サンプルの特徴を抽出する。
1. サプライヤの登録データ構造体(EDS)を初期化。順列を保持し，UのN個の要素をシャッ

フルする（Eの要素に戻り合致するように）。

2. UとIとからのＭ個の原サンプルのすべてについて特徴抽出器を実行する。
3. 各操作の時間を記録し，結果を格納する。
4. 使用に適さない及び取得失敗が明らかとなったサンプル割合を記録する。
5. （取得に失敗しなかった）サンプル特徴データを格納する。

トランザクションリストを作成する。
1. 空のリストAを作成する。
2. U中の人物からの各サンプル特徴について，これとEDS中に合致するサンプル特徴の整

数のインデックスとをペアにし，リストAに加える。

3. 空のリストBを作成する。
4. I中の人物からの各サンプル特徴について，これとEDS中に非合致のエントリのN-1個す

べての整数インデックスとをペアとし，リストBにそれらを加える。

5. AとBとを連結してCとし，シャッフル（ランダムに並べ替えを）する。Cは合致，又

は非合致の状態を保持する。

完全な相互比較を行う。
1. Cから作られる各ペアで認証器を実行する。
2. 各操作の時間を記録し，合致及び非合致ペアを別々に記録する。
3. 合致及び非合致スコアの個々のリスト中に各比較スコアを付け加える。

報告

DET曲線を算出する。
1. 一意な比較スコアの集合Sを作る。
2. 集合Sからの各値sに対して，

3. すべてのsについて，（誤受入率，誤拒否率）を軸として，DET曲線をプロットする。

処理量統計を算出する。
1. 成功及び（個々に）失敗したバイオメトリック参照データを生成する。
2. 成功及び失敗した本人サンプル・偽者サンプルの特徴抽出を行う。
3. 合致及び非合致を別々に比較する。

結果をまとめ，報告方針に基づいて報告する。

A.4 YES・NOシステムの照合試験

YES・NOシステムの照合試験は，決定だけを行うアルゴリズムの試験である。この種の試験は，比較

スコアを取得するためのソフトウェアの修正が不可能なときに適している。試験は，バッチモードでの照

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

合試行の反復された入出力の監視を通して実行される。

YES・NOシステムの照合試験は，一つの動作条件において，誤合致率と誤非合致率との組を生成する。

数

他人トランザクション

数

他人トランザクション

決定が受け入れられた

FMR

数

本人トランザクション

トランザクション数

決定が拒否された本人

FNMR

A.5 登録者限定識別の簡易試験

登録者限定識別の簡易試験は，すべての利用者が登録されている場合の識別性能を定量的に評価する。

この試験ではFMRは測定されない。試験は基本的に1対多の試行で行われる。

登録者限定識別の簡易試験では，累積識別精度特性が算出される。

例利用者が乗船時に登録され，船内で［非明示的(covert)な］取得が行われるような，顔認識を行う

巡航船

表A.4−試験手順

段階

行為

データ抽
出

1 二つの区分を作成する。

1. E：登録サンプルを表す，各被験者の第1番目のサンプル
2. U：利用者サンプルを表す，E中の各被験者の第2番目のサンプル

実行

2 登録する。

1. サプライヤの登録データの構造(EDS)を初期化する。
2. Eの各サンプルについて次を行う。

a. バイオメトリック参照データ生成器を実行し，バイオメトリック参照データをEDSに加える。
b. 各操作の時間を記録し，結果を格納する。

3. EDSを仕上げ処理する。各操作の時間を記録し，結果を格納する。

3 サンプルの特徴を抽出する。

1. 順列を保持し，Uの要素をシャッフルする（Eの要素に戻り合致するように）。

2. 空のリストAを作成する。
3. Uの原サンプルについて，特徴抽出器で実行する。

a. 生成器が取得失敗を明らかにする場合，これらを記録する。
b. 取得失敗でない場合は，サンプル特徴をAに加える。

4. 各操作の時間を記録し，入手失敗及び入手が失敗しないものを分離して結果を格納する。

4 識別を実行する。

1. A中の各サンプル特徴について，EDS中の要素と比較するために識別器を実行する。
2. 結果の候補リストを格納する。
3. 各操作の時間を記録し，結果を格納する。

報告

5 CMC曲線を算出する。

1. A中のサンプル特徴からの各候補リストについて，マッチする項目の順位を見つける。
2. A中に存在しなかったUの各要素は，（選択的取得の失敗のため）N位にセットする（すなわち，

できる限り最悪の値）。

3. 1からNまでの各順位rは，r以下の順位をもつ利用者サンプルの割合としてCMC(r)を算出する。

6 スループット統計を算出する。

1. 成功したバイオメトリック参照データを生成する。
2. 成功及び失敗した本人サンプル・偽者サンプルの特徴抽出を行う。
3. 比較する（1からN全体まで）。

7 結果をまとめ，報告方針に基づいて報告する。

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

A.6 登録者非限定識別の簡易試験

登録者非限定識別の簡易試験は，利用者が偽者（非登録者の合致を使って）になることがある場合の識

別精度を定量化する。試験は，利用者たちに対する誤非合致率の推定値及び真の偽者に対する誤合致率を

使った，完全な1対Nの試行を伴う。試験が1対1の結果を使って精度をモデル化することはない。

登録者非限定の簡易な識別試験では，累積識別精度特性及び実験による1対NのDETsが算出される。

例この種の試験は，監視リスト及び新しいアクセスコントロールタスクにおいて，より一般的にN

人の母集団を独自に登録する，否定的な識別アプリケーションの代表例である。

表A.5−試験手順

段階

行為

データ抽出

1 三つの区分を作成する。

1. E：登録サンプルを表す，各被験者の第1番目のサンプル
2. U：利用者サンプルを表す，E中の各被験者の第2番目のサンプル
3. I：E中に存在しない各人物からの一つのサンプル

実行

2 登録する。

1. サプライヤの登録データの構造(EDS)を初期化する。
2. Eの各サンプルについて次を行う。

a. バイオメトリック参照データ生成器を実行し，バイオメトリック参照データをEDSに加え

る。

b. 各操作の時間を記録し，結果を格納する。

3. EDSを仕上げ処理する。各操作の時間を記録し，結果を格納する。

3 バイオメトリック参照データを生成する。

1. 順列を保持し，UとIとを連結させたPをシャッフルする。
2. 空のリストAを作成する。
3. Pのすべての原サンプルを特徴抽出器で実行する。
4. 生成器が，取得失敗を明らかにする場合，これらを記録する。
5. 取得失敗でない場合は，サンプル特徴をAに加える。
6. 各操作の時間を記録し，結果を格納する。

4 識別を実行する。

1. A中の各サンプル特徴について，EDS中の要素と比較するために識別器を実行する。
2. 各操作の時間を記録し，（すなわち，UとIとから生じる）結果を合致及び非合致試行を独立

して格納する。

3. 候補リストを保持する。

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

表A.5−試験手順（続き）

段階

行為

報告

5 DET曲線を算出する。

1. 比較スコア集合Sの空リストを作成する。
2. Aからの各候補リストについて

a) 候補が，Uの要素（すなわち，登録された合致）から生じたものである場合，マッチングエ

ントリを見つけ，比較スコアをSに加える。

b) Sをソートし，重複した要素を削除する。
c) Sからの各いき（閾）値sについて，誤非合致率を算出する。

3. Uから生じたAの各候補リストについて（すなわち，登録された合致）

a) マッチングエントリの比較スコアを見つける。
b) スコアがs以上である場合，合致成功数Kを増加する。
c) 比較試行数Lを増加する。
d) FNMR(s)＝K/Lを計算する。
e) 順位をN位にセットする（例えば，最悪の値）。
f) Sから各いき（閾）値sについて誤合致率を算出する。

4. I中から生じるAからの各候補リストについて（すなわち，登録された合致なし）

a) いずれの比較スコアもs以上である場合，誤合致の数Fを一つ増加する。

偽者の数Mを一つ増加する。

b) FMR＝F/Mを計算する。

6 スループット統計を算出する。

1. 成功したバイオメトリック参照データを生成する。
2. 成功及び失敗した本人サンプル又は偽者サンプルの特徴抽出を行う。
3. 合致及び非合致を別々に比較する。

7 結果をまとめ，報告方針に基づいて報告する。

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

附属書B

（参考）

提示，入力試行及びトランザクション間の関係

B.1

提示，試行及びトランザクション間の関係

図B.1は提示，入力試行及びトランザクション間の関係を示している。このような部分的なトランザク

ションを発生させる事象は，主としてシナリオ評価と関連しており，テクノロジ評価ではさほど重要では

ない。

1回の試行のためには1回以上の提示が
必要である。ある種のシステムにおいて
は提示と置くこととは同じ意味である。

当該システムが複数の生体特徴を必
要とするかどうかで，トランザクショ
ンの構成のためには1回以上の入力
試行が必要であるか又は許容される。

利用者とバイオメトリックシステム
との相互作用は，トランザクションの
順序である。

典型的な考え方では1回の試行を構成す
るのに十分なN回の提示の後でもバイ
オメトリックデータの取得に失敗して
いた場合，それは試行の失敗に相当す
る。

典型的な考え方として，連続したN
回の試行で登録又は合致しなければ，
トランザクションの失敗となる。

図B.1−サンプル提示，試行及びトランザクション間の関係

提示 1

提示 2

提示 N

• • •

入力試行 1

入力試行 2

入力試行 N

• • •

トランザクション 1

トランザクション 2

トランザクション N

• • •

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

附属書C
（参考）

取組みレベルの報告方法

C.1 比較のための取組みレベルの報告方法

比較能力に対して時間的であり，かつ，提示に基づいて取組みレベルを潜在的に対応付けたものは，次

の図表に似たものとなる。次の図表の目的は，性能［誤合致率(FMR)と誤非合致率(FNMR)とに還元して測

定される］と提示の取組みとがバランスする点を示すことである。理想的なシステムでは，1回の提示で

FNMRが0 %，最大の提示回数でFMRが0 %になる。しかし通常，FNMRは最小回数の提示で最高になり，

FMRは提示の回数が多ければ増えていく。

図C.1はある仮想的なシステムで，1回の提示に過剰なFNMRが伴う一方で，4回以上の提示ではFNMR

はほとんど減少していない（そしてFMRだけがわずかに増加している）例を示したものである。こうし

た取組みが必然的に時間（登録又は比較のためにシステムと相互作用を行う時間）に応じて計測される技

術にとっては，同じ効果について“提示”軸に“経過時間”とラベル付けできるだろうということを注意

する。

図C.1−提示の取組みに対する誤非合致率と誤合致率との対応付け

C.2 登録のための取組みレベルの報告方法

同様に個々人ごとに，登録の取組みはバイオメトリックシステムに登録できる割合として次の図C.2の

図表のように書くことができる。次の図表は仮定しているシステムA，B及びCについての登録の取組み

と登録可能性との関係を示している。

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

附属書D
（参考）

クライアントサーバ試験方法

D.1 一般

信頼できるスループット率を得て，かつ，連続的な使用を模倣するには，クライアントサーバの枠組み

が，サプライヤ自らが行う試験の管理においては適している。幾つかの実装が可能だが，最も簡単な実装

は，高速ネットワーク上で，生体情報サンプルをクライアントからサーバに送り，サーバからクライアン

トには認証結果を返す試験実施規約を用いることである。HTTPプロトコルはファイル転送をできるよう

にし，豊富な機能をもち広く，かつ，頑健に実装され，複数のクライアントを支援でき，暗号化にも対応

し，多くのシステム運用責任者によく理解されているので，この試験の実装方法の候補として検討される

ことが望ましい。スループットの計算は，ネットワークのバンド幅及び待ち時間の計測を含むことが必要

であろう。クライアントに利用者の数に関する事前情報を与えないほうがよく，あいまいなまま実行する

ことが望ましい。性能は，そのようなすべてのサプライヤが共同して完成した集まりの部分集合上で評価

されてもよい。本人と偽者とのトランザクションの順序は無作為とすることが望ましい。

注記この規格でいうクライアントサーバ方式とは，次のサーバ認証方式を示す。生体認証システム

を構成する方式には，クライアント認証方式とサーバ認証方式とがある。クライアント認証方

式では，生体情報と認証機能とをクライアント側に置く。サーバは利用者を登録するときに関

与することがあるが，認証機能の提供には関与しない。これに対してサーバ認証方式では，サ

ーバは登録生体情報の管理及び認証機能の提供の双方に関与する。サーバ認証方式に基づいて

構築された生体認証システムでは，利用者の生体情報をクライアント側からサーバ側に高速ネ

ットワークを使って転送し，サーバが認証を行い，認証結果をクライアント側に高速ネットワ

ークを使って戻す。

D.2 時間制限つき1対N識別試験のための試験実施規約

試験実施規約の基本的な概要を次に示す。試験は小試験の連続である。小試験はP利用者トランザクシ

ョンの連続である。そのような小試験の一つを次に示す。

1. クライアントは登録サンプルを要求する。

2. サーバは同意し，時間を記録，ギャラリーイメージのクライアントへのダウンロードを初期化する。

3. クライアントはサンプルを受信の上，処理し，登録されたデータベースを作成する。

4. クライアントは，最初の利用者画像を要求する。

a) サーバは時間を記録し，利用者の画像又は試験の終了を示す指示子のいずれかを送信する。

b) クライアントは試験の終了に際して，ループを抜け，又は1対N探索を実行し，サーバに候補者リ

ストを返し，次の利用者を要求する。

c) サーバは利用者の完了カウンタを増加させる。

d) a)に戻る。

BioAPIの拡張されたバージョンは，そのような試験実施規約の実行に適している。試験は，通常，事前

の告知なく，休止時間なしに，そのようなセッションの連続からなる。時間をクライアントが記録しても

よい。

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

D.3 時間制限つき1対1照合のための試験実施規約

試験実施規約の基本的な概要を次に示す。試験は小試験の連続である。小試験はP利用者トランザクシ

ョンの連続である。そのような小試験の一つを次に示す。

1. クライアントは登録サンプルを要求する。

2. サーバは同意し，時間を記録，ギャラリーイメージのクライアントへのダウンロードを初期化する。

3. クライアントは複数実体を受信の上，処理し，登録されたデータベースを作成し，最初の利用者サン

プルを要求する。

a) サーバは時間を記録し，利用者の画像又は試験の終了を示す指示子のいずれかを送信する。

b) クライアントは試験の終了に際して，ループを抜けるか又は1対N探索を実行し，サーバに候補者

リストを返し，次の利用者を要求する。

c) サーバは利用者の完了カウンタを増加させる。

d) a)に戻る。

BioAPIの拡大されたバージョンは，そのような試験実施規約の実行に適している。試験は，通常，事前

の告知なく，休止時間なしに，そのようなセッションの連続からなる。

注記ネットワークのオーバヘッドの見積りも含まれることが望ましい。

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

附属書E

（参考）

複数システムの試験における評価結果のシステム横断的比較

E.1

一般

相互システムの結果は，複数システムを横断する被験者登録及び合致の能力を指し示す。複数システム

を横断して偽者が合致しやすくなることと同じく，複数システムを横断した登録又は合致ができないこと

に関連する情報は，報告書の読者にとって有用となることがある。そのような結果は，複数システムが試

験される試験にだけ当てはまる。

試験の規模及び誤り数に依存して，相互システムでのデータの登録及び比較は，行列の形式で表現して

もよい。

E.2

登録

相互システムの登録に関連する次の情報は，報告書の読者にとって有用となることがある。

− 各被験者が登録できなかったシステム

− 各システムにおける他の被験者のスコアの範囲に対してプロットされる，登録に失敗した被験者の各

システムにおける登録品質スコア。

E.3

本人の試行

相互システムの本人の試行に関連する次の情報は，報告書の読者にとって有用となることがある。

− 各被験者が誤って拒否されたか又は合致されなかったシステム

− 識別試行で，本人でない識別子が返されたシステム

− 本人拒否と非合致とが取得失敗に起因すると考えられるシステム

− 各システムの他の試験者のスコアの範囲に対してプロットされる，各システムの比較スコア

E.4

偽者の試行

相互システムの偽者の試行に関連する次の情報は，報告書の読者にとって有用となることがある。

− 被験者が誤って受け入れられたか又は合致したシステム。複数のシステムで横断的に合致した特定の

ギャラリレコードの事例を含む。

− ギャラリの被験者が誤って合致したか又はそれらに対して受け入れられたシステム。複数のシステム

で横断的に合致したギャラリの被験者の特定の検査レコードを含む。

− 各システムにおける他の被験者のスコアの範囲に対してプロットされる，各システムの比較スコア

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

附属書JA

（参考）

モダリティ特定の試験

序文

この附属書は，ISO/IEC TR 19795-3の内容を紹介するために，翻訳したものであって，規定の一部では

ない。ISO/IEC 19795-3は，試験方法を設計するに当たって，モダリティの特性上留意すべき考慮点及び

推奨する試験方法に関して情報を提供することを目的としてTR として発行することで，SC37/WG5参加

各国が一致して合意し，刊行された。このために，JISでも規定とはせずに，附属書（参考）とした。

JA.1

適用範囲

バイオメトリックの性能試験及び結果報告においては，指紋，顔，こう（虹）彩などのそれぞれのモダ

リティにおける特性の違いを注意深く考慮する必要がある。これらの違いに対応するには，この規格群の

第1部に記載された一般的な方法論の範囲内で，適切に試験を実施する必要がある。

この附属書では，モダリティに依存したこのような違いに関係する方法論を記述する。この附属書の目

的は，バイオメトリックにおけるモダリティごとの技術的な性能試験の設計法を示すことである。

JA.2

引用規格

次に掲げる引用規格は，この規格に引用されることによって，この規格の規定の一部を構成する。この

引用規格は，その最新版（追補を含む。）を適用する。

JIS Q 17025 試験所及び校正機関の能力に関する一般要求事項

注記対応国際規格：ISO/IEC 17025，General requirements for the competence of testing and calibration

laboratories

用語，概念及び説明のそれ以上の明確化のためには，この規格群の他の部及び次の文献を参照されたい。

これらの参考文献によって，読者はこの文書をよりよく理解することができる。

この規格群の第1部の対応国際規格は，次のとおりである。

ISO/IEC 19795-1，Biometric performance testing and reporting−Part 1: Principles and framework

この規格の対応国際規格は，次のとおりである。

ISO/IEC 19795-2，Biometric performance testing and reporting−Part 2: Testing methodologies for

technology and scenario evaluation

ISO/IEC TR 19795-3，Biometric performance testing and reporting−Part 3: Modality−specific testing

JA.3

用語及び定義

この附属書で用いる主な用語及び定義は，この規格群で規定するもの以外は，次による。

JA.3.1

影響因子 (influencing factors)

性能に影響を与える要因

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

JA.3.2

頑強性試験 (robustness test)

影響因子がバイオメトリックシステムの性能に与える影響を評価する試験

JA.3.3

意図的な偽造による入力試行 (active forgery attempt)

似せたり複製したバイオメトリックサンプル又は故意に改変した自分のバイオメトリック特徴量を提示

することによって，合致してはならないバイオメトリック参照データと合致させることを目的とした入力

試行

JA.3.4

偽造の種類 (forgery type)

偽造方法の種類

JA.3.5

偽造の程度 (forgery level)

偽造の入念さの程度

JA.4 記号及び略語

この附属書では次の略語を用いる。

ROC 照合精度特性 (receiver operating characteristic)

CMR 累積識別率 (cumulative matching rate)

CMC 累積識別精度特性 (cumulative match characteristic)

FNMR 誤非合致率 (false non-match rate)

FMR 誤合致率 (false match rate)

JA.5

モダリティの特性を考慮した試験設計

JA.5.1

試験設計フロー

精度評価試験を設計するときは，モダリティ依存の主要な特性が考慮されるように，次の試験計画フロ

ーに従うのがよい（図JA.1を参照）。

− ステップ1：精度評価結果を左右する“影響因子”を特定し，その特徴を分析する。

− ステップ2：試験の被験者に関する方針を検討し決定する。

− ステップ3：データ収集に関する方針を検討し決定する。

− ステップ4：偽者のトランザクションに関する方針を検討し決定する。

− ステップ5：性能評価の報告法に関する方針を検討し決定する。

ここでは，性能評価の対象となるモダリティ及び試験（テクノロジ試験，シナリオ試験，及び運用試験）

が既に決定されていることを想定して，この守られることが望ましい計画フローを提示している。

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

図JA.1−試験設計のフロー

JA.5.2

精度評価結果に影響を与えるモダリティ特有の影響因子（ステップ1）

バイオメトリック認証の性能は多様な影響因子に大きく左右されるため，試験設計フローの第1ステッ

プとして，精度評価結果に影響を与え得るモダリティ特徴の要因（“影響因子”）を特定し，その特徴を分

析する。同じバイオメトリック装置であっても影響因子の状況が異なれば，評価結果は異なったものにな

る。再現性のある性能評価試験を実行し，また，実運用時の性能を適切に予測するためには，影響因子を

制御し，その状態を記録し，報告書に含めることが必す（須）となる。

試験手順を定めるに当たっては，試験設計者はまず，当該モダリティについて精度評価結果を左右する

とされている影響因子を特定し，その特徴を分析する。影響を与えると知られているものだけでなく，影

響を与え得ると想定できる要因も考慮するのが望ましい。

影響因子の特定に当たっては，最低限次の諸点について考慮するのがよい（この規格群の第1部の附属

書C参照）。

A) バイオメトリックセンサの品質及び特性

B) データ収集に関係する被験者の生物学的又は行動的特性（人物の過去及び人口統計に関する重要なデ

ータ）。

例

− 不変な特性性別，人種

− 可変な特性

− 生物学的特性：年齢，身長，体重など身体的計測結果，機能的な障害の有無及び程度

− 習慣及び社会的特性：職業，喫煙習慣，髪形，化粧，眼鏡，コンタクトレンズなどの有無，

服装

注記 ISO/IEC TR 19795-3で職業は不変な特性に分類されているが，検討の上，可変な特性の習慣

及び社会的特性に分類を変更した。

C) バイオメトリック装置・センサ，及びアプリケーションに関係する環境因子。

例

− 温度

− 湿度

− 照明

− 普通の白熱灯，蛍光灯，タングステンランプ，ハロゲンランプ，反射型ライト，発光ダイオ

ード(LED)，太陽光など

1 “影響要因”の確認及び分析

方針の検討及び決定

2 被験者

3 データ収集

4 偽者の

トランザクション

5 結果報告

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

− 騒音

− 装置と利用者との位置関係

D) バイオメトリック特徴量の経時変化

E) 特に行動的なモダリティにおいて，意図的な偽造による入力試行が誤受入に与える影響

F) 登録フェーズと照合フェーズ・識別フェーズとで用いられるデータ入力及び信号処理のサブシステム

の違い。

JA.6で，モダリティごとにJA.5.2 C)で挙げた環境因子の影響を評価する“頑強性試験”について説明す

る。

JA.5.3

被験者に関するモダリティ特有の方針（ステップ2）

JA.5.3.1

被験者に関する方針

試験設計フローの第2ステップにおいて，被験者に関する取扱いの方針及び要件を検討し定める。この

方針は，生物学的及び行動的な生体特徴のそれぞれに関係する。被験者に関係する影響因子として考慮さ

れることが望ましいものとして，少なくとも次がある。

− 人物の過去及び人口統計（性別，年齢など）についてのデータ

− 身長，体重などの身体的計測データ

次の細分箇条において，評価で保たれることが望ましい被験者の分布に関して説明する。表JA.1に被験

者集団の構成及び評価の種別の一般的な関係を示す。次に，評価の種別ごとに守られることが望ましい規

定の詳細を示す。

被験者に関係する影響因子の評価で必要とされる被験者分布（例えば，一般的な分布，想定利用者層で

の分布など）に近いものであることを確認するために，当該因子に関し，身体計測結果の標準的な分布表

の使用も必要であれば考慮することが望ましい。過去及び人口統計についての可変な特性の分布について

は，国勢調査など大規模調査の結果データも参考にすることが望ましい。

テクノロジ評価及び運用評価において特性の分布を典型的，かつ，一般的であるよう保証する一つの方

法として，最低でも女性を5 %以上とし，男性を最大95 %とするという方法がある（これは因子の出現値

が男性の場合より女性で小さい場合についてである。）。この5 %及び95 %という数字は多くの場合の一般

的分布を保証すると報告されている。

シナリオ評価では，被験者群は想定ターゲット利用者群を代表するようにして実世界のアプリケーショ

ンを模倣させることになるため，事情は更に複雑になる。

評価での被験者に関係する影響因子の分布が，対象とするアプリケーションの利用者又は想定するアプ

リケーションの利用者の分布と合っていることを確実にするために，当該因子の分布はあらかじめ調査さ

れ，試験機関に提供するのがよい。この情報が提供されない場合には，試験機関は，評価で用いる疑似環

境における対象利用者での分布の範囲を要請するのが望ましい。この情報が提供されないか又はない場合

は，身体計測結果の標準的な分布表を参考にして人種・民族・年齢・職業を考慮して推定するのがよい。

過去・人口統計についての特性については，その分布は実社会の分布に近似するのが望ましい。

表JA.1−評価の種別と被験者集団の構成との関係

評価の種別

被験者集団の構成

テクノロジ評価

対象母集団

シナリオ評価

対応アプリケーションの対象利用者

運用評価

利用者については管理しないか又は限定的な管理（したがって一般的な分布になる）

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

JA.5.3.2

テクノロジ評価

テクノロジ評価においては，テストコーパスの特性の分布が，関連する影響因子について，対象母集団

での分布（これは一般的な人口構成での特性の分布と一致する場合もある。）を反映しているのがよい。試

験設計者は，方針及び要件を次のとおり定めるのが望ましい。

1. 被験者の特性に関連する影響因子に関し，評価に用いられる被験者の特性の分布は，一般の人口構成

でのその特性の分布を反映するのがよい。

2. 被験者の特性に関連する影響因子に関し，評価に用いられる被験者での特性の分布は，記録され，評

価報告書で報告するのがよい。

例立って使用する顔認識アプリケーションでは，影響因子である利用者の身長に関して，

1. 被験者の身長の分布は，実世界での身長分布と同様に構成されるのがよい（例えば，男性95 %以下，

女性5 %以上）。

2. 実世界と同様の身長分布を用いていることを確認するために，被験者の身長の分布は記録され，評

価報告書で報告するのがよい。

JA.5.3.3

シナリオ評価

シナリオ評価においては，被験者集団の特性の分布が，関連する影響因子において，評価の対象とする

応用での利用者群集団での特性の分布を反映していることが望ましい。試験設計者は次の指針に基づき，

方針及び要件を定める。

1. 被験者の特性に関連する影響因子に関し，評価に用いられる被験者での特性の分布は，評価の対象と

するアプリケーションの利用者群集団での特性の分布を反映するのが望ましい。

2. 被験者の特性に関連する影響因子に関し，評価に用いられる被験者での特性の分布は，記録され，評

価報告書で報告するのがよい。

例立って使用する顔認識アプリケーションで，影響因子である利用者の身長に関し，

1. 被験者の身長の分布は，評価の対象とする実世界での応用の利用者群での身長分布と同様に構成す

るのがよい（例えば，男性95 %以下，女性5 %以上）。

2. 実世界でのアプリケーションの利用者と同様の身長分布を用いていることを確認するために，被験

者の身長の分布は記録し，かつ，評価報告書で報告するのがよい。

JA.5.3.4

運用評価

運用評価においては，被験者集団は実際のフィールドでの利用者からなるため，その構成は試験設計者

が制御できるとは限らない。評価のための領域を実験的に設営する場合には，評価の依頼者の指示又は装

置の仕様上の指定がある場合は別として，領域の利用者は一般的な人口分布（例えば，男性95 %以下，女

性5 %以上など）に従うように配慮するのが望ましい。しかし，評価結果が再現可能であり完全に文書化

されていることを保障するために，関連する影響因子の被験者での分布は，記録され，また，評価報告書

で報告されることが重要である。試験設計者は次の指針に基づき，方針及び要件を定める。

1. 被験者の特性に関連する影響因子に関し，評価に用いられる被験者の特性の分布は，一般の人口構成

でのその特性の分布を反映するのがよい。

2. 被験者の特性に関連する影響因子に関し，評価に用いられる被験者の特性の分布は，記録され，かつ，

評価報告書で報告するのがよい。

例性別が影響因子であり，かつ，利用者群では女性が圧倒的多数であるような運用環境での評価で，

1. 評価の性質から分かるとおり，被験者の性別の分布を制御・管理することはできない。

2. 評価の再現性，他のケースへの適用可能性，妥当性の判断のために，性別の結果データを記録し，

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

かつ，評価報告書で報告するのがよい。これによって，評価報告書を読むことで被験者集団がどの

程度実世界を代表していたかを理解することができる。

JA.5.4

データ収集に関するモダリティ特有の方針（ステップ3）

JA.5.4.1

データ収集に関する方針

試験設計フローの第3ステップにおいては，データ収集に関する要件を検討し定める。少なくとも次を

含む影響要因を考慮するのが望ましい。

− バイオメトリックセンサの品質及び特性

− バイオメトリック装置を取り巻く環境要因

− バイオメトリック特徴量の経時変化

− 利用者とバイオメトリックセンサとの相互作用の影響

− 意図的な偽造が誤受入に与える影響（これに関しては，次のJA.5.5を参照）

方針は次のように評価の種別に依存する。

JA.5.4.2

テクノロジ評価及びシナリオ評価

テクノロジ評価及びシナリオ評価においては，多くの場合データ収集に関連する影響因子は制御可能で

ある。したがって，試験設計者はデータ収集に関連する影響因子について，取扱いの方針を定めるのが望

ましい。さらに，特定の仕様でオペレータが試験実行時にデータ収集を行えないような場合には，関連す

る影響因子に関する情報を記録し，かつ，評価報告書で報告するよう，方針を定めるのがよい。

JA.5.4.3

運用評価

運用評価においては，装置は実際のフィールドの利用者が使用するため，影響因子は試験設計者が制御

できるとは限らない。しかし，評価結果が再現可能であり完全に文書化されていることを保障するために，

関連する影響因子の被験者での分布は，記録し，かつ，評価報告書で報告することが重要である。したが

って，試験設計者は，データ収集に関連する影響因子を記録し，かつ，評価報告書で報告することを要求

するのがよい。

JA.5.4.4

複数のバイオメトリック特徴の取扱いに関する方針

JA.5.4.4.1

一般論

幾つかのモダリティにおいては，一人の被験者から複数のバイオメトリック特徴を収集することができ

る。例えば，一人の被験者からは通常，10個の指紋，二つのこう（虹）彩，複数の箇所の静脈パターンと

二つの掌形とを収集することができる。テキスト依存型の音声照合のような内容依存の行動的モダリティ

では，一人の被験者から多数の“音声パターン”を収集することができる。

例えば，指紋のような幾つかのモダリティでは，被験者の異なった身体特徴から収集した特徴の間には

相関があることが知られている。そのような相関があるモダリティでは，本人又は偽者による入力試行に

おいて，このような複数の特徴を使えるか否かに関する方針を定めるのが望ましい。

JA.5.4.4.2

指紋の場合の例

定められる方針としては次のような例がある。ここで(A-1，B-2)は，“被験者Aの指1と被験者Bの指2

との比較”を意味し，また，A-1-2は被験者Aの指1の第2サンプルを示す。

例1 FNMRを求めるための本人試験では，同一被験者の10指は独立サンプルとして使用すること

を認めてもよい。つまり(A-1-1，A-1-2)及び(A-2-1，A-2-2)は正当な比較と考えられる。

例2 FMRを求めるための偽者による試験では，例えば(A-1，A-2)のような，同一被験者の異なった

指の使用は一般的には認められない。被験者Aの指1と指2とは独立とは考えられないためで

ある。

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

例3 FMRを求めるための異なる被験者の試験では，(A-1，B-1)又は(A-1，B-2)のような比較を認め

てもよい。このようなケースの使用を許すことで，特にFMRが低く出るようなシステムを評

価する場合，評価のコスト及び必要工数を大幅に減少させることができる。

JA.5.4.4.3

音声及び署名の場合の例

テキスト依存型の音声及び署名のように行動特性に基づくモダリティにおいては，テキストが認証にお

いてどのように用いられるか，また，偽者（他人になりすまそうとする者）がそのテキストを知っている

かについて考慮する必要がある。データ収集及び結果報告の方針は，次の例にあるように，これらの点を

考慮して定めるのが望ましい。

例1 テキスト依存型（キーワード発話方式）音声認証のテクノロジ評価の場合

FNMRを求めるための本人試験でも，又はFMRを求めるための偽者試験でも，登録時と同一のテキス

トを評価に用いるのがよい。異なった発声内容がなされたサンプルは評価に用いない。偽者試験において，

男性の登録データに対して女性が試したケース及びその逆のケースについては記録し，報告するのが望ま

しい。

例2 テキスト独立型（自由発話方式）音声認証のテクノロジ評価の場合

FNMRを求めるための本人試験でも，又はFMRを求めるための偽者試験でも，異なった発声内容を用

いることができる。偽者試験において，男性の登録データに対して女性が試したケース及びその逆のケー

スについては記録し，報告するのが望ましい。

例3 テキスト指定型（会話内容指定方式）音声認証のテクノロジ評価の場合

FNMRを求めるための本人試験でも又はFMRを求めるための偽者試験でも，装置の指定に従った発声

がなされるのが望ましい。指定テキストがどのように生成され制御されるかはできる限り記録し，報告す

るのが望ましい。偽者試験において，男性の登録データに対して女性が試したケース及びその逆のケース

については記録し，報告するのが望ましい。

JA.5.5

偽者によるトランザクションに関するモダリティ特有の方針（ステップ4）

JA.5.5.1

偽者によるトランザクションに関する方針

音声，署名など行動的なモダリティについて正確な評価を行うためには，偽者（他人になりすまそうと

する者）が別の被験者の行動をまねることによる試行の影響を考慮する必要がある。例えば，行動的モダ

リティによる認証のときの運用性能は，偽者による詐称行動の種類及び作用によって影響されることが知

られている。表JA.2のように，偽者の偽造物攻撃のレベルは少なくとも4種類に分けられる。

表JA.2−偽者の偽造物攻撃のレベル

偽造行為の種類

内容

無作為偽造（意図的でない
偽者入力試行）

偽造者は，あたかも自分のバイオメトリック特性に対して自分が真正な照合を求めてい
るように，自らの生体特徴の入力試行を行う。

単純偽造

偽造者は，提示すべきバイオメトリック特性がどんなものであるかについての知識はも
っているが，格段の入力試行の偽装努力は行わない。例えば，署名認証で書くべき名前
は知っているが筆跡を模倣しようとはしない場合など。

模倣偽造

偽造者は正しいバイオメトリック特性を努力してまねる。

訓練偽造

偽造者は，多くは本人の入力過程の観察及び訓練の後，バイオメトリック特性を静的・
動的に模倣・模写する。

無作為偽造によるFARは，これより高度な偽造行為の種類より低い（偽造成功率が低い）と考えること

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

ができる。音声照合の場合，偽者があらかじめ真正な利用者の発声を聞いておくことによって，詐称成功

率を高めることができる。発声を模倣する訓練を行えば更に高めることができる。誤受入の可能性は，偽

者と真正な利用者とが同性の兄弟姉妹，双子，親子であった場合には，更に大きくなる。歩き方による認

証の場合も，偽者が認証者の歩き方を見る機会があった場合，更に，認証者の歩き方を訓練した場合は，

性能評価結果は異なることになる。

行動的なモダリティに関して信頼のおける試験結果を得るためには，偽者の偽造努力の程度を考慮に入

れる必要がある。偽者からのデータの収集に関する方針は，計画の段階で決定するのがよい。データ収集

に関する判断及び決められた方針は記録され，評価報告書で報告するのが望ましい。

テクノロジ試験又はシナリオ試験では，無作為偽造を偽造者の入力試行の基準にしないほうがよい。運

用試験では，偽者が詐称を図るときの動作として無作為偽造が妥当な場合，これを試験で用いることもで

きる。性能試験の結果は偽造試行の種類及び程度に大きく依存するため，運用試験で用いられた偽造試行

の種類などの詳細を結果報告書で報告するのが望ましい。

JA.5.5.2

署名の場合の例

署名認証の性能試験において，偽者による偽造試行の程度を扱う場合，表JA.3にある偽造行為の種類の

分類例が参考になる。

表 JA.3−署名における偽造行為の程度のレベル分け例

レベル

説明

種類

無作為偽造。偽造者は適当な名前で署名する。

ブラインド偽造（偽者は署
名の形状の知識なし。）

偽造者は，正しい名前を知っているが正しいつづりの知識はない（Steven か
Stephen か，JonかJohnかの区別を知らない。）。1)

偽造者は，活字などで正しい名前のつづりを見たことがあるが，署名を見たこ
とはない。

偽造者は，正しい署名を（手紙，小切手などで）一度だけ見た。

静的偽造（書かれた後の署
名は見るが，署名される過
程は知らない。）

偽造者は，正しい署名の幾つかのサンプルを見た（さらに，その他の手書き文
書サンプルなども見られる。）。

偽造者は，正しい署名が本人によってなされる様子を一度だけ見た。

観察に基づく偽造（署名過
程を観察できる。）

偽造者は，正しい署名が本人によってなされる様子を何度も見た（署名の様子
の記録テープを繰り返し見ることができる場合も含む。）。

本人支援のある偽造。本人がわざわざ署名のまね方を教授する。

支援つき偽造（本人又はツ
ールによる。）

ツール支援のある偽造。偽造者は，本人の署名プロセスのデジタルデータなど
をもち，これを用いて署名の速度，筆圧，軌跡などの入力試行を複数回訓練で
きる。

注1) 日本語の場合，祐二か勇治か，坂井か境か，など。

署名認証の性能試験では，（表JA.2の）訓練偽造を偽者の入力試行の基本とするのがよい。しかし，実

際には他者による訓練偽造のデータをそれぞれの被験者ごとに多数集めるのは困難である。したがって，

その問題を解決するためには，すべての被験者について同じ単語（群）を用い，各被験者から静的及び動

的（例：ペンの軌跡，ペンの傾斜角，筆圧のかけかたなど）な署名データを集めるというのが実際的な対

応となる。この方針によって集められた一組のサンプルは，同じ被験者から得られたデータである場合に

は本人入力試行の，異なる被験者から得られたデータである場合には他者試行のサンプル対として試験に

用いることができる。偽者の入力試行については，前もっての知識・訓練の程度に応じて，単純偽造，模

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

倣偽造，又は訓練偽造のいずれかに分類することができる。性能試験の結果は，用いる署名の形状及びデ

ザインによって大きく影響されるため，複数の署名デザインを用いるのがよい。

例1 署名認証のテクノロジ評価の場合

FNMRを求めるための本人試験でも，又はFMRを求めるための偽者試験でも，偽者は多くの場合，真

正な署名の内容（文字列）についてある程度の知識をもっていると考えられる。偽造行為の程度は記録し，

報告するのが望ましい。偽造行為の程度の分類例としては，表JA.2及び表JA.3がある。

例2 署名認証の運用評価の場合

多くの場合，本人の姓名が署名で用いられることから，偽者試行の被験者は本人の姓名を知ってこれを

用いるのがよい。

JA.5.5.3

音声の場合の例

テキスト依存及びテキストに従った音声照合の試験においては，同じような考え方を適用する。しかし，

発声に基づいた認証では，無作為偽造以外の作用はあまり明確に表れないため，単純偽造を利用して偽造

による入力試行を作成するにとどめるだけで十分である。

例1 音声認証の運用評価の場合

本人（本物）でも偽者（偽物）でも，評価時にはいかなる発声をも行うことができる。本人試行におい

ては，利用者が登録したテキストを忘れたり，発声時に言い間違えた場合の試行を除外しないほうがよい。

JA.5.6

評価結果の報告法に関するモダリティ特有の方針（ステップ5）

利用者の身元を特定（識別）するシステム［例：監視カメラ及び自動指紋識別システム(AFIS)］で主に

用いられるモダリティ，又は多くのケースで管理者による目視などでの結果の確認を伴うアプリケーショ

ンで利用されるモダリティにおいては，累積識別率(CMR)がシステムの性能を評価するための重要な尺度

となる。CMRは，ある識別システムが，同一の個人から得た二つのサンプル特徴を，与えられた類似範囲

内にあると正しく判断する確率と定義することができる。CMRは事実上，識別結果において，所定の順位

以内の候補群の中に正解が現れる確率を示す尺度として利用できる。

このような性能は，順位ごとのCMRの変化を表した累積識別精度特性(CMC)グラフで示すことができ

る。図JA.2に示すようにCMCグラフでは，横軸で与える順位内の候補として，ある特定の人間が識別さ

れる確率を示すCMRを縦軸にプロットする。

特定の影響因子に関する識別システムの安定性は，頑強性試験から得られたCMCの変化によって表す

ことができる。CMCの変化は，影響因子の変化に伴って，CMRがどのように変化するかを表したもので

ある。CMCの変化は図JA.3のグラフのように，与えられた影響因子に関するパラメタの変化に対応する

クラス分けを横軸にとり，それに対応するCMRを縦軸にプロットすることで表すことができる。

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

一般的に，テクノロジ評価においては環境要因の効果を考慮しない。しかし，顔又は音声といった幾つ

かのモダリティでは，非常に様々な要因の影響を強く受ける可能性がある。これらの性能への影響を定量

化するために，“頑強性試験”を導入することができる。これは，各影響因子の効果を明らかにし，定量化

するように計画されたものである。頑強性試験は，テクノロジ評価及びシナリオ評価と並行して行われる

ことを想定している。

頑強性試験はどのような種類の因子が性能に影響を与え，性能が各因子の変化に対してどれだけ敏感か

を知るために用いられる。

例えば，顔認証システムの認証精度は，次を含む様々な因子の影響を受ける。

被験者の生体的又は行動的特性:

− 不変な因子性別，人種

− 可変な因子

− 生物学的特性：年齢，身長，体重など身体的計測結果，機能的な障害の有無又は程度

− 習慣及び社会的特性：職業，喫煙習慣，髪形，化粧，眼鏡，コンタクトレンズなどの有無，

服装

注記 ISO/IEC TR 19795-3で職業は不変な特性に分類されているが，検討の上，可変な特性の

習慣及び社会的特性に分類を変更した。

バイオメトリック装置・センサ及びアプリケーションに関係する環境因子。

− 照明

− 普通の白熱灯，蛍光灯，タングステンランプ，ハロゲンランプ，反射型ライト，発光ダイオー

ド(LED)，太陽光など

− 照明光源の位置（被験者の上方，下方，右，左，背後など）

一般的に，このような因子が精度に与える影響は，特定の“シナリオ”をそのシステムの使用法に導入

することで減らすことができる。例えば，幾つかのシステムにおいて，指の回転が指紋認証精度を劣化さ

せるのであれば，利用者に指を適切な方法で置くように指示することで，この種の影響は多くの場合軽減

することができる。

しかし，顔認証において，利用者にこのようなシナリオどおりに使ってもらおうとしても，常にうまく

いくとは限らない。なぜならば，顔ベースの認証システムでは，監視システムのように，被験者が必ずし

も協力的でなくてよいアプリケーションに用いられると考えられるからである。評価者，すなわち，様々

な因子の変化による精度劣化の度合いを調べることで生体認証システムの性能の安定性を評価する必要の

あるシステム構築者が，頑強性試験の必要性を強く感じるという現象も，今まで多く見られてきた。

生体認証システムの安定性は，照合結果のROC曲線の変化をもって報告することができる。このROC

曲線の変化は，FNMR及びFMRといった誤り率がパラメタの変化に従ってどのように変化するのかを表

すグラフ（図JA.4）で示すことができる。

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

注記 ISO/IEC TR 19795-3の図4には，評価限界値直線の記載がない。図JA.4は，TR X

0086:2003から対応する図3.3を掲載したものであり，評価限界値直線が記載されて
いる。

図JA.4−ROC曲線変化

JA.6.2

基本的な例：顔の場合

すべての環境因子を評価するのは現実的ではないので，管理者は評価前に，関連のある環境因子とその

因子の範囲をシナリオから選ぶのがよい。また，管理者はデータ取得状況を記述するのが望ましい。顔認

証システムに関連する，主な性能影響因子の幾つかの例を表JA.4に示す。

表JA.4−主な精度影響因子の例

（顔認証システムの場合）

パラメ
タ

パラメタの説
明

誤り率への影響

被験者
の協力

定量化

標準化の扱い

基本性能評価試験

頑強性試験

生体的
因子

遺伝的
因子

遺伝的因子に
よる顔形状及
び色の変化

サンプルの特徴が設
計・学習したものと異
なるときに，誤り率が
増加する。

不可能困難

画像を取得した場
所（国，都市）日
付，刻印を明記す
る。

基本性能評価に
準ずる。

健康状
態

病気又はけが
による顔形状
及び色の変化

サンプルの特徴又は
状況が設計・学習した
ものと異なるときに，
誤り率が増加する。

不可能困難

記述の必要なし

年齢

年齢に起因す
る，顔形状，
皮膚の弾力
性，しわ，色
の変化

サンプルの特徴が設
計・学習したものと異
なるときに誤り率が
増加する。しかし，一
般的には，若年成年が
良い結果を与える。

不可能可能

各特徴における分
布を明記する。

基本性能評価（年
齢の影響は無視）
と比較するため，
各条件における
照合精度を明記
する。

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

表JA.4−主な精度影響因子の例（続き）

（顔認証システムの場合）

パラメ
タ

パラメタの説
明

誤り率への影響

被験者
の協力

定量化

標準化の扱い

基本性能評価試験

頑強性試験

生体的
因子

性別

サンプルの特徴が設
計・学習したものと異
なるときに，誤り率が
増加する。他の因子と
相関が高い場合が多
いことに注意する。

不可能可能

各特徴（男女）に
おける分布を明記
する。

基本性能評価（性
別の影響は無視）
と比較するため，
各性別における
照合精度を明記
する。

表情

表情変化によ
る顔形状，し
わの変化

サンプルの特徴及び
状況が設計・学習した
ものと異なるときに，
誤り率が増加する。無
表情に近い方が精度
はよい。

可能

困難

協力の有無，及び
関連する詳細を明
記する。

1) 表情に関する
指示内容への精
度の依存性，又は
2) 管理者が設定
した表情カテゴ
リへの精度の依
存性を明記する。

社会的
因子

職業

特有の外観変化を生
じる場合に誤り率が
増加するが，指紋ほど
顕著ではない。

不可能困難

各特徴における分
布を明記する。

各職業グループ
における照合精
度を比較のため
に明記する。管理
者は職業カテゴ
リを任意に設定
してよい。

髪形・
ひげ・
化粧な
ど

ひげ，顔を覆
う髪形，唇・
まゆなどの化
粧，いれずみ，
シャドー，ハ
イライト，眼
帯，マスクな
どの附帯物を
含む。

サンプルの特徴が登
録時の特徴と異なる
ときに，誤り率が増加
する。

可能

困難

対応できないデー
タを除去してもよ
いが，異なる特徴
及び対応率を明記
する。

管理者がカテゴ
リを明確にし，カ
テゴリ間の精度
変化特性を明記
する。

眼鏡

サンプルの特徴が登
録時の特徴と異なる
ときに，誤り率が増加
する。誤り率は，眼鏡
の変化，その結果生じ
る影及び反射の変化
にも影響を受ける。

可能

困難

眼鏡の装着率を明
記する。また，対
応できないデータ
を除外してよい
が，対応率を明記
する。

眼鏡の着脱によ
る外観上の変化
に対する精度変
化特性を明記す
る。例示画像を提
供する。

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

表JA.4−主な精度影響因子の例（続き）

（顔認証システムの場合）

パラメ
タ

パラメタの説
明

誤り率への影響

被験者
の協力

定量化

標準化の扱い

基本性能評価試験

頑強性試験

環境的
因子

姿勢

カメラに対す
る顔の向き

サンプルの特徴が登
録時の特徴と異なる
ときに，誤り率が増加
する。正面顔が普通の
状況と決められてい
る。斜め，側面では誤
り率が増加する。

可能

固定したカメラに
対して，ほぼ一定
の姿勢で撮影す
る。協力の有無，
及び関連する詳細
を明記する。

カメラと顔との
相対的な関係を
管理者が分類し，
分類ごとの精度
変化特性を明記
する。

照明

照明の方向及
び光の数

サンプルの特徴が登
録時の特徴と異なる
ときに，誤り率が増加
する。

不可能可能だ

が，他の
パラメタ
との融合
が必要。

ほぼ固定。石こう
球を用いて，照明
条件を明確にす
る。

照明条件ごとに
試験を行い，石こ
う球の条件ごと，
及び照明条件ご
との精度変化特
性を明記する。

背景

撮影したとき
の背景

背景の複雑度が増す
と切り出し困難で，誤
り率が増加する。

不可能可能だが

他のパラ
メタと融
合が必
要。

背景を固定する。
サンプル背景を明
示する。

背景ごとの精度
変化特性及び背
景画像を提示す
る。

解像度

撮影時の距
離，画像解像
度

サンプルの特徴が登
録時の特徴と異なる
ときに，誤り率が増加
する。

不可能可能

カメラのFOV1)，画
素数，顔までの距
離

複数のパラメタ
における精度変
化特性を明記す
る。

時間間
隔

登録時から認
証時までの時
間

時間変化があると誤
り率が増加する。

不可能可能

時間間隔を固定す
る。登録用データ
から照合用データ
の最短収集時間間
隔を記載する。

登録から照合ま
での経過時間を
パラメタとして，
照合精度をプロ
ットする。

ゆがみ

サンプルの特徴が登
録時の特徴と異なる
ときに，誤り率が増加
する。

不可能可能

登録用データから
認証用データの時
間間隔の分布を明
記する。

時間間隔が変化
したときの精度
変化特性を明記
する。

注1) FOV (Field of View)，視野角。広い視野角で撮影した写真では，狭い視野角で写した場合と比較して，相対的に

対象物が小さく写る。

JA.6.3

他の例：指紋，こう（虹）彩，静脈，及び音声の場合

他のモダリティに対する評価を行うときは，管理者は他の因子の効果を考慮することが望ましい。指紋

認証を例にとると，湿度，皮膚の状態などを考慮することが望ましい（表JA.5参照）。こう（虹）彩認証

の場合は，照明の状況，眼鏡・コンタクトレンズ，及び眼病を考慮することが望ましい（表JA.6参照）。

静脈認証の場合は，静脈パターンの変化，手・指の方向，照明環境を考慮することが望ましい（表JA.7

参照）。音声認証における主要な影響因子の例は，表JA.8に示す。

注記 ISO/IEC TR 19795-3では“shall consider”などの表現が使われているが，このISO/IEC TRの

内容は，本来参考の位置付けであることを考慮し，検討の上，“shall consider”を“考慮するこ

とが望ましい”と訳した。

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

表JA.5−主な精度影響因子の例

（指紋認証システムの場合）

パラメ
タ

パラメタの説
明

誤り率への影響

被験者
の協力

定量化

標準化の扱い

基本性能評価試験

頑強性試験

生体的
因子

健康状
態

けが（切断，
切り傷，裂傷，
引っかき傷な
ど）による指
表面の変化

サンプルの特徴及び状
況が設計・学習したも
のと異なるときに，誤
り率が増加する。

不可能困難

記述の必要なし

年齢

年齢に起因す
る，指の形，
皮膚の弾力
性，しわの変
化

サンプルの特徴が設
計・学習したものと異
なるときに，誤り率が
増加する。しかし，一
般的には，若年成年が
良い結果を与える。

不可能可能

各特徴における分
布を示す。

基本性能評価（年
齢の影響は無視）
と比較するため，
各条件における
照合精度を示す。

肌の状
態

生理学的又は
物理的理由に
よる，肌の状
態，湿り又は
乾燥の変化

サンプルの特徴及び状
況が設計・学習したも
のと異なるときに，誤
り率が変化する。状態
変化が少ない方が精度
はよい。

可能

困難

協力の有無，及び
関連する詳細を明
記する。

1)肌の状態に関
する指示内容へ
の精度の依存性，
又は2)管理者が
設定した肌の状
態カテゴリへの
精度の依存性を
示す。

利き手
かどう
か

スイープスキ
ャナを使った
ときの指の動
きの変化

被験者が利き手でない
方の手を使ったとき
に，誤り率が増加する。

可能

使ったのが利き手
か利き手でない方
の逆手かを明記す
る。

基本性能評価試
験に同じ。

指の種
類（指の
大きさ
など）

どの指を認証
に利用したか

例えば，薬指又は小指
が使われたときに，誤
り率が増加する。

可能

使われた指を明記
する。

違う種類の指の
照合精度を示す。

社会的
因子

職業及
び生活
様式

職業及び（庭
いじり，陶芸，
運動，日曜大
工などの）習
慣としている
趣味による荒
れ，すり傷，
角質化又はあ
かぎれ，指の
肌の変化

肌の状態が悪化してい
る場合に，誤り率が増
加する。

不可能困難

各条件における分
布を明記

各職業グループ
における照合精
度を比較のため
に明記。管理者は
職業カテゴリを
任意に設定して
よい。

環境的
因子

時間間
隔

登録から認証
までの時間

時間間隔を引き伸ばす
とき，誤り率が増加す
る。

不可能可能

時間間隔を固定す
る。登録データ取
得から照合データ
取得までの最も短
い時間を表記す
る。

登録から照合ま
での経過時間を
パラメタとして，
照合精度をプロ
ットする。

ゆがみスキャナの特

性によって生
じるゆがみ

サンプル間でゆがみが
異なるときに，誤り率
が増加する。

不可能不可能

スキャナのタイプ
を示す。

異なるスキャナ
間での精度の変
化を示す。

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

表JA.5−主な精度影響因子の例（続き）

（指紋認証システムの場合）

パラメ
タ

パラメタの説
明

誤り率への影響

被験者
の協力

定量化

標準化の扱い

基本性能評価試験

頑強性試験

環境的
因子

スキャ
ナ

（照明，背景，
解像度及びわ
い曲を除く。）
スキャナの特
性，時間，一
度の入力試行
におけるスキ
ャン数

サンプルの特徴が登
録時の特徴と異なる
ときに，誤り率が増加
する。

不可能

困難

状況を固定。自動
補正などの協力の
有無を明記する。

異なる指紋認識
システム間の精
度の変化を示す。

温度及
び湿度

肌の状態及び
スキャン精度
に影響する温
度及び湿度

肌の状態又はスキャ
ン精度が温度及び湿
度によって影響され
る場合，誤り率が増加
する。

可能（あ
る程度
は，例え
ば乾燥
指は布
でこす
る）

可能

パラメタを報告す
る。

パラメタの変化
による精度の変
化を報告する。

表JA.6−主な精度影響因子の例

［こう（虹）彩認証システムの場合］

パラメ
タ

パラメタの説
明

誤り率への影響

被験者
の協力

定量化

標準化の扱い

基本性能評価試験

頑強性試験

生体的
因子

健康状
態

病気，手術及
び薬によるこ
う（虹）彩形
状の変化

サンプルの特徴及び
状態が設計・学習した
ものと異なるときに，
誤り率が増加する。

不可能

困難

記述の必要なし

目の開
放率

目をさらす広
さの変化

こう（虹）彩をさらす
広さが小さくなる場
合，誤り率が増加す
る。

不可能
（目の
開放率
の調整
が難し
い人も
いる。）

可能

各条件における分
布を明記する。

評価精度は目の
開放率の変化と
関連して変化す
る。

社会的
因子

眼鏡・
コンタ
クトレ
ンズ

サンプルの特徴が登録
時の特徴と異なるとき
に，誤り率が増加する。
コンタクトレンズの種
類（透明度，色調，模
様）又はサングラス・
コンタクトレンズによ
る影及び反射によっ
て，誤り率は影響を受
ける。

可能

困難

眼鏡・コンタクト
レンズ又は裸眼を
明記する。それぞ
れの状態の結果を
区別する。

基本性能評価に
準ずる。

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

表JA.6−主な精度影響因子の例（続き）

［こう（虹）彩認証システムの場合］

パラメ
タ

パラメタの説
明

誤り率への影響

被験者
の協力

定量化

標準化の扱い

基本性能評価試験

頑強性試験

環境的
因子

照明

方向，赤外線
の光度，周囲
の光源

照明及び周囲の光源
が適切ではない場合，
誤り率が増加する。

不可能

困難

システム推奨に大
枠で沿う。

基本性能評価に
準ずる。

時間間
隔

登録から認証
までにかかる
時間

時間間隔を引き伸ば
すとき，誤り率が増加
する。

不可能

可能

時間間隔を固定す
る。登録データ取
得から照合データ
取得までの最も短
い時間を表記す
る。

登録からパラメ
タ照合までの時
間関係について
正確に合わせた
筋道を立てる。

表JA.7−主な精度影響因子の例

（静脈認証システムの場合）

パラメ
タ

パラメタの説
明

誤り率への影響

被験者
の協力

定量化

標準化の扱い

基本性能評価試験

頑強性試験

生体的
因子

健康状
態

運動，負荷，
病気又はけが
による静脈パ
ターンの変化

サンプルの特徴及び
状況が設計・学習した
ものと異なるときに，
誤り率が増加する。

不可能

困難

記述の必要なし

環境的
因子

姿勢

センサに対す
る手・指の向
き

サンプルの特徴が登
録時と異なれば，誤り
率が増加する。

可能

センサを固定し，
姿勢もほぼ一定の
上，撮影する。
被験者の協力の有
無，及び姿勢に関
連する詳細を示
す。

センサと手・指と
の相対的な関係
を管理者が分類
し，分類ごとの精
度変化特性を示
す。

周囲の
照明

周囲の照明の
方向及び強度

サンプルの特徴が登
録時の特徴と異なれ
ば，誤り率が増加す
る。

不可能

困難

システムが推奨す
る照明条件に従
う。

照明条件ごとに
試験を行い，実際
の照明条件がシ
ステムが推奨す
る照明条件と異
なるときの性能
の変動を示す。

時間間
隔

登録から認証
までの時間

時間間隔が長引くと
誤り率が増加する。

不可能

可能

時間間隔を固定す
る。登録情報獲得
と照合情報獲得間
との一番短い時間
間隔を記録する。

登録から照合ま
での時間間隔と
照合性能との関
係を示す。

温度

血管の状態に
影響を与える
温度

温度によって血管の
状況が影響を受けれ
ば，誤り率が変化す
る。

不可能

可能

温度を報告する。

温度の変化によ
る性能の変化を
報告する。

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

表JA.8−主な精度影響因子の例

（音声認証システムの例）

パラメ
タ

パラメタの説
明

誤り率への影響

被験者
の協力

定量化

標準化の扱い

基本性能評価試験

頑強性試験

生体的
因子

健康状
態

病気又はけが
による音声特
徴の変化

サンプルの特徴が設
計・学習したものと異
なるときに，誤り率が
増加する。

不可能

困難

記述の必要なし

年齢

年齢に起因す
る音声特徴の
変化

サンプルの特徴が設
計・学習したものと異
なるときに，誤り率が
増加する。

不可能

可能

各特徴における分
布を明記する。

基本性能評価（年
齢の影響は無視）
と比較するため，
各条件における
照合精度を明記
する。

性別

周波数

特徴抽出方法に依存
する。

不可能

可能

それぞれの特徴
（男性又は女性）
を明記する。

基本性能評価（性
別の影響は無視）
と比較するため，
各性別における
照合精度を明記
する。

社会的
因子

職業

音声状態及び
安定性の変化

特有の変化を生じる
場合に，誤り率が増加
する。

不可能

困難

各特徴における分
布を明記する。

各職業グループ
における照合精
度を比較のため
に明記する。管理
者は職業カテゴ
リを任意に設定
してよい。

仕事関
連

教育，歌唱，
勤務直後，過
労

サンプルの特徴及び
状況が設計・学習した
ものと異なるときに，
誤り率が増加する。

不可能

困難

記述の必要なし

言語

母国語，非母
国語

サンプルの特徴及び
状況が，設計・学習し
たものが不安定な発
音であるなどで異な
るときに，誤り率が増
加する。

不可能

可能

記述の必要なし

環境因
子

騒音

背景の騒音，
声の重複

騒音及びひずみによ
って誤り率が増加す
る。

不可能

可能

信号・騒音を明記
する。

幾つかの信号条
件・騒音状況での
照合特性を明記
する。

ひずみ

装置及び伝達
手段によるひ
ずみ

反射

発音手段及び
伝達手段によ
る反射

サンプルの特徴が登
録したものと異なる
ときに，誤り率が増加
する。

不可能

困難

反射特徴を明記す
る。

代表的な状況で
の照合特性を明
記する。

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

表JA.8−主な精度影響因子の例（続き）

（音声認証システムの例）

パラメ
タ

パラメタの説
明

誤り率への影響

被験者
の協力

定量化

標準化の扱い

基本性能評価試験

頑強性試験

環境因
子（続
き）

機器の
特性

サンプリング
周波数，アナ
ログ・デジタ
ル分解，デー
タ圧縮，ビッ
ト長

サンプルの特徴が登
録したものと異なる
ときに，誤り率が増加
する。

不可能

可能

特徴を明記する。

代表的な状況で
の照合特性を明
記する。

伝達手
段

固定電話，ゾ
ーン方式の電
話，直接会話

誤り率は，伝達手段の
特徴に依存する。

不可能

可能

使った手段を明記
する。

代表的な状況で
の照合特性を明
記する。

時間間
隔

登録から照合
までの時間

時間間隔を引き伸ば
すとき，誤り率が増加
する。

不可能

可能

時間間隔を固定す
る。登録データ取
得から照合データ
取得までの最も短
い時間を表記す
る。

登録からパラメ
タ照合までの時
間関係について
正確に合わせた
筋道を立てる。

行動的
因子

発生の
競合

注意深い発
言，騒がしい
発言

サンプルの特徴が登
録したものと異なる
ときに，誤り率が増加
する。

可能

困難

注意深い発言を利
用する。

代表的な状況で
の照合特性を明
記する。

感情

発言の感情因
子

サンプルの特徴が登
録したものと異なる
ときに，誤り率が増加
する。

不可能

困難

通常の発言を利用
する。

代表的な状況で
の照合特性を明
記する。

発言の
程度

発音速度

サンプルの特徴が登
録したものと異なる
ときに，誤り率が増加
する。

不可能

可能

平均的な値を利用
する。

代表的な状況で
の照合特性を明
記する。

声とす
る言葉

（連続した数
字，名前，市・
町，新聞の記
事など）

発音される言葉の種
類は，行動的因子とし
て表れる。

不可能

可能

発音される言葉の
種類を明記する。

代表的な言葉の
種類での照合特
性を明記する。

発生方
式

読書，自発的
な発音，反復

発音方式は，安定した
発生に影響する。

不可能

可能

発音方式を表記す
る。

代表的な発音方
式を明記する。

習熟

発言の安定度
（しばしば流
ちょうさが影
響する。）

安定していない発言
でテンプレートを登
録した後，習熟して安
定した発言になった
場合，誤り率が増加す
る。

不可能

困難

（例えば，最低で
も3回くらいの）
発言練習をさせ
て，発言が安定し
た後に登録する。

練習量と登録前
の安定度による
精度の変化とを
明記する。

JA.7 新規モダリティに対応するための試験設計の原則

新規なモダリティに基づくバイオメトリック技術が開発された場合には，次の手順を踏んでこのモダリ

ティに対応する試験を設計するのが望ましい。

まず，前の箇条までに定義されたように，影響因子を特定する。

X 8101-2：2010 (ISO/IEC 19795-2：2007)

2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。

参考文献

[1] ISO/IEC JTC1/SC 37 N101，Evaluation Method for Accuracy of Fingerprint Authentication Systems

注記

TR X 0053:2002に対応する。

[2] ISO/IEC JTC1/SC 37 N99，Evaluation Method for Accuracy of Face Authentication Systems

注記

TR X 0086:2003に対応する。

[3] ISO/IEC JTC1/SC 37 N102，Evaluation Method for Accuracy of Iris Authentication Systems

注記

TR X 0072:2002に対応する。

[4] ISO/IEC JTC1/SC 37 N555，Method of Evaluating the Accuracy of Blood Vessel Pattern Authentication

Systems

注記

TR X 0079:2003に対応する。

[5] ISO/IEC JTC1/SC 37 N554，Method for Evaluating the Accuracy of the Voice Authentication System

注記

TR X 0098:2004に対応する。

[6] ISO/IEC JTC1/SC 37 N553，Method for Evaluating the Accuracy of a Signature Authentication System

注記

TR X 0099:2004に対応する。

[7] PHEASANT, S. Bodyspace: Anthropometry, Ergonomics, and the Design of Work. 3rd ed, ed.C. Haslegrave.

2006, Boca Raton: Taylor and Francis. 332