>サイトトップへ >このカテゴリの一覧へ

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

(1)

目  次

ページ

序文

1

1

  適用範囲

1

2

  適合性

2

3

  引用規格

2

4

  用語及び定義

2

4.1

  バイオメトリックデータ

2

4.2

  バイオメトリックシステムの操作及び応答

3

4.3

  評価者・被験者にかかわる事項

4

4.4

  評価の種別

5

4.5

  バイオメトリックアプリケーション

6

4.6

  性能評価尺度

6

4.7

  報告のためのグラフ

8

4.8

  統計用語

8

5

  一般バイオメトリックシステム

9

5.1

  一般バイオメトリックシステムの概念図

9

5.2

  一般バイオメトリックシステムの概念構成要素

10

5.3

  一般バイオメトリックシステムの機能

11

5.4

  生体情報登録,照合及び識別トランザクション

13

5.5

  性能評価尺度

14

6

  評価計画

15

6.1

  一般的な事項

15

6.2

  この規格群の他の部の利用

16

6.3

  システムに関する情報の判定

16

6.4

  性能に影響を与える要因の制御

17

6.5

  被験者選定

19

6.6

  試験規模

20

6.7

  複数試験

21

7

  データ収集

22

7.1

  データ収集誤りの回避

22

7.2

  収集したデータ及びその詳細

23

7.3

  生体情報登録

24

7.4

  本人トランザクション

25

7.5

  システムに生体情報登録されている利用者の識別トランザクション

26

7.6

  偽者トランザクション

26

7.7

  システムに生体情報登録されていない利用者の識別トランザクション

29


X 8101-1

:2010 (ISO/IEC 19795-1:2006)  目次

(2)

ページ

8

  分析

30

8.1

  一般的な事項

30

8.2

  基本性能評価尺度

30

8.3

  照合システム性能評価尺度

33

8.4

  (登録者非限定)識別システム性能評価尺度

34

8.5

  登録者限定識別

35

8.6

  検出エラートレードオフ(DET)曲線及び照合精度特性(ROC)曲線

35

8.7

  推定値の不確実性

36

9

  記録管理

36

10

  性能評価結果の報告

37

10.1

  基本的な尺度

37

10.2

  照合システム尺度

37

10.3

  識別システム尺度

37

10.4

  登録者限定識別システム尺度

38

10.5

  試験詳細の報告

38

10.6

  結果のグラフ表示

39

附属書 A(参考)評価種別による違い

42

附属書 B(参考)試験規模及び不確実性

43

附属書 C(参考)性能に影響を与える要因

50

附属書 D(参考)予備選択(プリセレクション)

55

附属書 E(参考)データベースサイズの関数としての識別性能

56

附属書 F(参考)ROCDETCMC を生成するアルゴリズム

57

参考文献

58


X 8101-1

:2010 (ISO/IEC 19795-1:2006)

(3)

まえがき

この規格は,工業標準化法に基づき,日本工業標準調査会の審議を経て,経済産業大臣が制定した日本

工業規格である。

この規格は,著作権法で保護対象となっている著作物である。

この規格の一部が,特許権,出願公開後の特許出願,実用新案権又は出願公開後の実用新案登録出願に

抵触する可能性があることに注意を喚起する。経済産業大臣及び日本工業標準調査会は,このような特許

権,出願公開後の特許出願,実用新案権及び出願公開後の実用新案登録出願にかかわる確認について,責

任はもたない。

JIS X 8101

の規格群には,次に示す部編成がある。

JIS X 8101-1

第 1 部:原則及び枠組み

JIS X 8101-2

第 2 部:テクノロジ評価及びシナリオ評価の試験方法


X 8101-1

:2010 (ISO/IEC 19795-1:2006)  目次

(4)

白      紙


日本工業規格

JIS

 X

8101-1

:2010

(ISO/IEC 19795-1

:2006

)

情報技術−バイオメトリック性能試験及び報告−

第 1 部:原則及び枠組み

Information technology

−Biometric performance testing and reporting−

Part 1: Principles and framework

序文

この規格は,2006 年に第 1 版として発行された ISO/IEC 19795-1 を基に,技術的内容及び対応国際規格

の構成を変更することなく作成した日本工業規格である。

なお,この規格で点線の下線を施してある参考事項は,対応国際規格にない事項である。

個人ごとの個性がある身体的特徴又は行動的特徴をよりどころとして,ある人物を本人が主張するのと

同一人物であるかを判断したり,多数の人物リストの中に含まれるとしたらどの人物かを識別したりする

ことはバイオメトリック(biometric=生体)個人認証と呼ばれている。バイオメトリック個人認証に使わ

れる生体の部位・特徴(biometric characteristics)として,指紋・掌紋・掌形・こう(虹)彩・静脈など人間が

共通にもち,かつ,形状・形態に個体を識別するに十分な個性をもつ身体的生体特徴,並びに音声・筆跡

など動作及びその結果に個体を識別するに十分な個性をもつ行動的生体特徴の二つがある。これらはバイ

オメトリックのモード(biometric mode)と呼ばれる。また,バイオメトリック個人認証には,(1)  利用者が

あらかじめ登録(enroll)された人物であることを申告(claim)して生体特徴を提示(presentation)し,システムが

登録者と同一人物であるかどうか判断する“照合(verification)”

,及び (2) 利用者の申告がなく,提示され

た生体特徴とあらかじめ登録された多人数の生体特徴とを比較し,どの登録者なのか,又は未登録者であ

るかを判断する“識別(identification)”の二つがある。また,利用者の申告方法としては,利用者が自ら進

んで生体情報を提示する“明示的(overt)提示”方法と,利用者が意識しない間に生体情報を取得する“非

明示的(covert)提示”方法とがある。

バイオメトリック個人認証技術の性質から,認証結果には一定の確率で誤りが生じる。この誤り率は試

験方法によって変化したり,同じ試験でも試験をするごとに結果が変動しやすく,一般の利用者又はシス

テム構築者が試験結果の妥当性を判断することが難しかった。そのため産業界から,バイオメトリック認

証に関する市場の育成には,装置の開発又は導入に当たり,装置製造業者,システム構築者及び一般の利

用者が客観的評価を可能とする精度評価の基準が必要であるという要請があった。この規格は,この要請

に対応するために策定された。

1

適用範囲

この規格は,次の事項について規定する。

−  バイオメトリックシステムの性能を,性能の予測,性能の比較,及び規定性能要求事項遵守の検証を

含む目的のために,誤り率及びスループットの観点で試験するための一般原則を確立する。

−  バイオメトリックシステムの性能尺度を規定する。


2

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

−  試験方法,データの記録,及び結果の報告に関する要求事項を規定する。

−  不適切なデータ収集又は分析手順による偏りを回避する手助けをし,フィールド性能の効率のよい最

良推定を行う手助けをし,かつ,試験結果の適用範囲の限界を明確にするために,試験実施規約(test

protocol)を開発し記述するための枠組みを提供する。

この規格は,システムのアルゴリズム及び対象となる母集団における生体特徴の基本的な分布について

の詳細な知識がなくても,システムから出力される照合得点及び判定結果を分析することによって,バイ

オメトリックシステム及びアルゴリズムの実証性能試験に適用できる。

バイオメトリックシステムによる正しい認識を故意に逃れようとする人々(すなわち,意図的な偽者)

に対する誤り率及びスループット率の尺度は,この規格の適用範囲外とする。

注記  この規格の対応国際規格及びその対応の程度を表す記号を,次に示す。

ISO/IEC 19795-1:2006

,Information technology−Biometric performance testing and reporting−Part

1: Principles and framework (IDT)

なお,対応の程度を表す記号(IDT)は,ISO/IEC Guide 21-1 に基づき,一致していることを示

す。

2

適合性

この規格に適合するためには,バイオメトリック性能試験は,ここに規定する必す(須)要件に従って

計画し,実施し,報告しなければならない。

3

引用規格

次に掲げる規格は,この規格に引用されることによって,この規格の規定の一部を構成する。この引用

規格は,その最新版(追補を含む。

)を適用する。

JIS Q 17025

  試験所及び校正機関の能力に関する一般要求事項

注記  対応国際規格:ISO/IEC 17025,General requirements for the competence of testing and calibration

laboratories (IDT)

4

用語及び定義

この規格で用いる主な用語及び定義は,次による。

4.1

バイオメトリックデータ

4.1.1

サンプル (sample)

データ取得サブシステムによる出力としての利用者のバイオメトリック測定値。

例  指紋画像,顔画像及びこう(虹)彩画像は,サンプルである。

注記  より複雑なシステムにおいて,サンプルは複数の提示された特性[例えば,10 個の指紋記録,

異なる角度から取り込まれた顔画像,左右ペアのこう(虹)彩画像]から構成される場合もあ

る。

4.1.2

特徴 (features)

登録テンプレートを構築又は比較するために使用する,

(信号処理サブシステムによって)サンプルから

抽出した情報のデジタル表現。


3

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

例  指紋における指紋特徴点の座標,顔画像における主成分係数などが特徴である。

4.1.3

テンプレート,モデル (template,model)

登録サンプルから抽出した特徴に基づいて登録された基準生体特徴。

注記  基準生体特徴は,利用者によって提示された規範とすべきサンプルに対する生体特徴からなる

テンプレートであることが多い。より一般的には,この登録された基準はその利用者の生体特

徴の潜在的な範囲を表すモデルになる。この規格では,

“モデル”を含む“テンプレート”を使

う。

4.1.4

照合得点 (matching score,similarity score)

サンプルから抽出した特徴と蓄積されたテンプレートから抽出した特徴との間の類似度,又はそれらの

特徴がいかによく利用者の参照モデルに適合しているかの尺度。

注記 1  合致又は非合致は,この照合得点が判定いき(閾)値を超えるか否かで判定される。

注記 2  提示されたサンプルから得られる特徴が,蓄積されたテンプレートに近づくにつれて,照合

得点は増加する。

注記 3  国際規格では用語として“matching score”及び“similarity score”の 2 語を用いているが,こ

の規格では,記法の煩雑さを避けるために用語を“照合得点”1 語とした。照合得点の計算

に利用される尺度には,その数値が大きいほど比較したデータが似ていることを表す尺度の

ほかに,その数値が小さいほど比較したデータが似ていることを表す尺度(相違度又は距離)

が利用されることがある。例えば,距離を使う場合には,この規格で“照合得点が増加する”

と書かれた箇所は,

“距離が減少する”ことを表す。

4.1.5

照合判定 (verification decision)

システムにおいて利用者が行う認証要求の正当性を確度高く判定すること。

4.1.6

候補リスト (candidate list)

識別入力試行[又は予備選択(プリセレクション)アルゴリズム]によって生成される,ある被験者に

関する可能性のある登録者の集合。

4.1.7

識別判定 (identification decision)

システムにおいて利用者の身元を候補リストから確度高く判定すること。

4.2

バイオメトリックシステムの操作及び応答

4.2.1

提示 (presentation)

利用者の特定の身体部位についての単一のバイオメトリックサンプルが提出されること。

4.2.2

入力試行 (attempt)

システムに対する一つ(又は一連)のバイオメトリックサンプルの提示。

注記  入力試行結果は,登録テンプレート,照合得点(群)となるか,又はある場合には取得失敗と

なる。


4

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

4.2.3

トランザクション (transaction)

生体情報登録,照合又は識別を目的とした利用者による一連の入力試行。

注記  トランザクションには,次の三つの種別がある。登録又は登録失敗が生じる登録シーケンス,

照合判定結果を生じる照合シーケンス,識別判定結果を生じる識別シーケンス。

4.2.4

本人入力試行 (genuine attempt)

自分自身の登録テンプレートと合致させようとする利用者による使用法に忠実な単一の入力試行。

4.2.5

意図的でない偽者入力試行  (zero-effort impostor attempt)

個人があたかも自分自身のテンプレートとの照合を成功させようとするように,自分自身の生体特徴を

提示して,他の利用者のテンプレートと比較する入力試行。

4.2.6

意図的な偽者入力試行  (active impostor attempt)

個人が疑似又は複製バイオメトリックサンプルを提示するか,又は自分自身の生体特徴を意図的に部分

修正することによって,他人の登録されたテンプレートと合致させようとする入力試行。

注記  意図的な偽者入力試行の誤り率は,意図的でない偽者入力試行のそれとは異なる。意図的な偽

者入力試行で用いられる方法及びスキルについては,この規格の適用範囲外となる。

4.2.7

提示効果 (presentation effects)

利用者固有の生体特徴をセンサが取得する仕方に影響を与える多数の変量の影響。

例  顔認識においては,姿勢角度又は照明が含まれ,指紋においては,指の回転及び皮膚の水分が含

まれる。多くの場合,基本的な生体特徴と提示時変動との区別(例えば,顔認識における表情又

は話者照合システムにおける声の抑揚)は,明確ではない。

4.2.8

チャネル効果 (channel effects)

センサ及び伝送チャネルのサンプリング,雑音及び周波数応答特性による,変換及び伝送処理中に提示

された信号が受ける変化。

4.3

評価者・被験者にかかわる事項

4.3.1

利用者 (user)

バイオメトリックサンプルをシステムに提示する者。

4.3.2

被験者 (test subject)

そのバイオメトリックデータが評価の一部として登録又は比較されることになる利用者。

4.3.3

被験者集団 (crew)

評価のために集めた被験者の集合。

4.3.4

対象母集団 (target population)


5

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

その性能を評価中であるアプリケーションの利用者の集合。

4.3.5

運用責任者 (administrator)

試験又は生体情報登録を実施する者。

4.3.6

オペレータ (operator)

システム操作者。

例  登録を指揮し,照合又は識別トランザクションを監視する要員。

4.3.7

観測者 (observer)

試験データを記録するか又は被験者集団を監視する試験要員。

4.3.8

試験責任者 (experimenter)

試験の定義,設計及び分析に対する責任者。

4.3.9

試験機関 (test organization)

試験を主催し,実施する主体。

4.4

評価の種別

4.4.1

テクノロジ評価 (technology evaluation)

既存の又は特別に収集したサンプルのコーパスを用いた,同じバイオメトリックモダリティの一つ以上

のアルゴリズムに対するオフライン評価。

4.4.2

シナリオ評価 (scenario evaluation)

包括的なシステム性能を判定するプロトタイプ又は模擬的アプリケーションに対する評価。

4.4.3

運用評価 (operational evaluation)

バイオメトリックシステム全体の性能を判定する特定の対象母集団をもつ特定のアプリケーション環境

に対する評価。

4.4.4

オンライン(連体修飾)(online)

画像又は信号の提示時に実行される(連体修飾語で,登録,照合などに前置される。

注記  オンライン試験は,バイオメトリックサンプルが直ちに廃棄され,蓄積装置に対する要求,及

びシステムを通常とは異なる方法で操作する要求を削減する利点がある。しかし,できれば,

画像又は信号を収集することを推奨する。

4.4.5

オフライン(連体修飾)(offline)

画像又は信号の提示とは切り離して実行される(連体修飾語で,登録,照合などに前置される。

注記 1  オフラインでの登録及び照合得点計算のための画像又は信号のコーパス収集は,その入力試

行を厳密な管理下で行うことが許され,そのテンプレート画像はいかなるトランザクション


6

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

にも使用することができる。

注記 2  テクノロジ試験は,試験の定義から明らかなようにオフライン処理であり,データ蓄積を必

要とする。しかし,シナリオ及び運用試験では,試験者にとってはオンライントランザクシ

ョンがより容易なことがある。これは,システムの通常の動作を使用することができ,また,

画像又は信号の蓄積が推奨されているとはいえ必す(須)ではないからである。

4.5

バイオメトリックアプリケーション

4.5.1

照合 (verification)

利用者による肯定的な身元確認要求に対して,提示されたサンプルバイオメトリック測定値から生成し

た特徴を要求身元の登録テンプレートと比較し,身元確認要求に関する諾否の決定を返すアプリケーショ

ン。

注記 1  要求身元は,氏名,個人識別番号(PIN),カード,又はシステムに提供された他の一意な識別

子の形態をとることがある。

注記 2  “生体情報とある身元情報とを提示する人物が,その身元情報をもつ人物そのものであるこ

とを主張する身元確認要求”を“肯定的な身元確認要求”といい,

“身元情報を同時に提示し

ない,又は自分がだれかを主張せずに行う身元確認要求”と区別する。

4.5.2

識別 (identification)

登録データベースの検索を実行し,0 個又は 1 個以上の身元情報からなる候補リストを返すアプリケー

ション。

4.5.3

登録者限定識別 (closed-set identification)

すべての潜在的利用者がシステムに登録されている識別。

4.5.4

登録者非限定識別 (open-set identification)

すべての潜在的利用者がシステムに登録されているとは限らない識別。

4.6

性能評価尺度

4.6.1

生体情報登録失敗率,FTE (failure-to-enrol rate, FTE)

ある集団に対して登録処理を行った場合に,システムが登録処理を完了できなかった人数の割合。

注記  実測される生体情報登録失敗率は,被験者集団の登録について測定される。被験者集団から計

測又は観測された生体情報登録失敗率から予測又は推定した登録失敗率が対象母集団全体に適

用される。

4.6.2

取得失敗率,FTA (failure-to-acquire rate, FTA)

システムが適切な品質の画像若しくは信号を取り込むか,又は位置を特定することができなかった照合

若しくは識別入力試行の割合。

注記  実測される取得失敗率は,予測又は期待された取得失敗率と異なる(前者は,後者を見積もる

ために使われる可能性がある。


7

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

4.6.3

誤非合致率,FNMR (false non-match rate, FNMR)

サンプルを供給した利用者から登録したある生体特徴のテンプレートに合致しないと誤判定された本人

入力試行の割合。

注記  計測又は観測された誤非合致率は,予測誤合致率又は期待誤合致率と異なる(前者は,後者を

見積もるために使われる可能性がある。

4.6.4

誤合致率,FMR (false match rate, FMR)

意図的でない偽者入力試行が,試行者本人以外のテンプレートに合致すると誤判定される割合。

4.6.5

誤拒否率,FRR (false reject rate, FRR)

本人の身元確認要求の照合トランザクションにおいて,誤って拒否する率。

4.6.6

誤受入率,FAR (false accept rate, FAR)

他人の身元確認要求の照合トランザクションにおいて,誤って受理する率。

4.6.7

正受入)識別率  [(true-positive) identification rate]

システムに生体情報を登録した利用者による識別トランザクションにおいて,システムの出力が利用者

の正しい身元情報を含む率。

注記  識別率は,次の二つに依存する。

(a)  登録データベースのサイズ。

(b)  照合得点及び/又はマッチングして出力される身元情報の数についての判定いき(閾)値。

4.6.8

誤拒否識別率,FNIR (false-negative identification-error rate, FNIR)

システムに生体情報を登録した利用者による識別トランザクションにおいて,システムの出力が利用者

の正しい身元情報を含まない率。

注記  誤拒否識別率=1−識別率

4.6.9

誤受入識別率,FPIR (false-positive identification-error rate, FPIR)

システムに生体情報を登録していない利用者による識別トランザクションにおいて,システムの出力が

いずれかの身元情報を含む率。

注記 1  誤受入識別率は,次の二つに依存する。

(a)  登録データベースのサイズ。

(b)  照合得点及び/又はマッチングして出力される身元情報の数についての判定いき(閾)

値。

注記 2  登録者限定識別では,すべての利用者が登録されているため,誤受入識別はない。

4.6.10

予備選択アルゴリズム (pre-selection algorithm)

登録データベースとの識別検索において,照合しなければならないテンプレートの数を減らすためのア

ルゴリズム。


8

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

4.6.11

予備選択誤り (pre-selection error)

(予備選択アルゴリズムにおいて)同一利用者の同一生体特徴からサンプルが与えられたとき,対応す

る登録テンプレートが予備選択候補内に含まれない誤り。

注記  データベース分割(binning)法の予備選択において,ある利用者のある生体特徴を登録した後に,

同一人物・同一生体特徴のサンプルが,異なるデータベース分割枠(bin)に配置された場合に予

備選択誤りになる。

4.6.12

絞込み率 (penetration rate)

(予備選択アルゴリズムにおいて)

予備選択されるテンプレート数の平均値とテンプレート総数との比。

4.6.13

識別順位 (identification rank)

利用者の正しい身元が識別システムの出力した身元リストの中にある場合,その順位。

注記 1  識別順位は,登録データベースのサイズに依存し,“中の候補順位 k”と引用されることが

望ましい。

注記 2  利用者の正しい身元と同じ照合得点をとる別の身元がある場合には,順位の最小値とする。

4.7

報告のためのグラフ

4.7.1

検出エラートレードオフ曲線,DET 曲線  (detection error trade-off curve, DET curve)

2 種の誤り率を両軸(第 1 種の誤りを x 軸,第 2 種の誤りを y 軸)にプロットするように,ROC 曲線を

変形したもの。

注記 1 DET 曲線の例を 10.6.2,図 に示す。

注記 2  第 1 種の誤りと第 2 種の誤りとの組合せとして,(誤非合致率,誤合致率),(誤拒否率,誤受

入率)

(誤拒否識別率,誤受入識別率)などがある。

4.7.2

照合精度特性曲線,ROC 曲線  (receiver operating characteristic curve, ROC curve)

判定いき(閾)値を媒介変数として,第 2 種の誤り率(例えば,受理された偽者入力試行率)を x 軸に,

“1 から,対応する第 1 種の誤り率を引いたもの”

(例えば,受理された本人入力試行率)を y 軸にしてプ

ロットした曲線。

注記 ROC 曲線の例を 10.6.3,図 に示す。

4.7.3

累積識別精度特性曲線,CMC 曲線  (cumulative match characteristic curve, CMC curve)

順位値を x 軸に,その順位以内での正しい識別率を y 軸に記入した,識別試験の結果のグラフ。

注記 CMC 曲線の例を 10.6.4,図 に示す。

4.8

統計用語

4.8.1

分散,V (variance, V)

統計分布の広がりの尺度。

注記 1  確率変数 の平均を E(X)とすると,V(X)=E[(Xμ)

2

],ここで μE(X)。

注記 2  分散は,既知ならば,推定結果の真値に対するばらつきを示す。


9

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

4.8.2

信頼区間 (confidence interval)

下側推定値 L,上側推定値 を端点とする区間であって,パラメタ に対して,の真の値が と 

の間にある確率が規定値(例えば,95 %)であるもの。

例  [L,U]  がパラメタ の(95 %)信頼区間であるならば,確率(x∈[L,U])=95 %である。

注記  試験サイズが小さいほど,信頼区間は広くなる。

5

一般バイオメトリックシステム

5.1

一般バイオメトリックシステムの概念図

多様なアプリケーション及び技術を想定すると,すべてのバイオメトリックシステムを一般的に論じる

ことは難しい。しかし,すべてのバイオメトリックシステムには多くの共通要素がある。バイオメトリッ

クサンプルは,センサによって利用者から収集される。センサ出力は処理装置に送られ,そこでサンプル

に特有で再現可能な計測値(特徴)が抽出され,その他すべての情報は捨てられる。その結果生成された

特徴は,一つのテンプレートとしてデータベースに蓄積するため,又は既にデータベースに蓄積されてい

る特定のテンプレート,幾つかのテンプレート若しくはすべてのテンプレートと比較して合致するものが

あるか否かを判定するために使われる。身元確認要求の判定は,サンプルの特徴と比較したテンプレート

又は複数テンプレートの特徴との類似性に基づいて決定される。

注記  合致?

1)

:合致いき(閾)値を超えているか?

照合?

2)

:照合判定基準による照合結果は?

候補?

3)

:候補リストのいき(閾)値を超えているか?

識別?

4)

:識別判定基準による識別結果は?

図 1−一般バイオメトリックシステムの構成要素


10

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

図 は,データ取得,信号処理,蓄積,比較,及び判定サブシステムで構成される一般バイオメトリッ

クシステム内の情報の流れを図示したものである。この図は,登録処理と,照合・識別のシステム動作と

の両方を図示している。5.2.15.2.8 では,これらの各サブシステムについてより詳細に説明している。こ

れらの概念構成要素は,実際のバイオメトリックシステムにおいて,存在しないか又は物理的な構成要素

に直接対応しない可能性があることに留意されたい。例えば,品質評価を対象領域抽出処理の前又は特徴

抽出処理の前に行うこともできる。

5.2

一般バイオメトリックシステムの概念構成要素

5.2.1

データ取得サブシステム

データ取得サブシステムは,バイオメトリックセンサに提示された利用者の生体特徴の画像又は信号を

集め,この画像又は信号をバイオメトリックサンプルとして出力する。

5.2.2

伝送サブシステム(図表には描かれていない。)

伝送サブシステム(バイオメトリックシステムに常にあるとは限らず,また,目に見えるようにあると

は限らない。

)は,異なったサブシステム間でサンプル,特徴,テンプレートのすべて又はこれらのいずれ

かを伝送する。サンプル,特徴又はテンプレートは,標準バイオメトリックデータ交換フォーマットを使

って伝送することもある。バイオメトリックサンプルは,伝送前に圧縮と暗号化とのいずれか又は両方を

行い,使用前に対応する復元と復号化とを行ってもよい。バイオメトリックサンプルは,圧縮処理・復元

処理における損失だけでなく伝送チャネルの雑音によって,伝送中に変わる可能性がある。蓄積・伝送さ

れたバイオメトリックデータの信頼性,完全性及び機密性を保護するために,暗号技法を用いるのが望ま

しい。

5.2.3

信号処理サブシステム

信号処理サブシステムは,バイオメトリックサンプルから照合又は識別に用いられる特徴を抽出する。

信号処理サブシステムには,

受信したサンプルから利用者の生体特徴の信号を検出する対象領域抽出処理,

特徴抽出処理,及び抽出した特徴が確実に識別可能な再現性のあるものにするための品質評価処理が含ま

れる。品質評価によって受信サンプル(群)が拒否された場合は,追加のサンプル(群)を収集するため

にデータ取得サブシステムに戻る制御があってもかまわない。

登録の場合は,信号処理サブシステムは,抽出した生体特徴からテンプレートを生成する。登録処理で

は,複数回の生体特徴提示による特徴を必要とすることが多い。テンプレートは,特徴そのものからなる

こともある。

5.2.4

データ蓄積サブシステム

テンプレートは,データ蓄積サブシステムに収容した登録データベース内に蓄積される。各テンプレー

トは,登録利用者の詳細情報と関連付けられる。テンプレートは登録データベースに蓄積する前に,バイ

オメトリックデータ交換フォーマットに再フォーマットしてもよいということに留意することが望ましい。

テンプレートはバイオメトリック取得装置の中,IC カードのような携帯用媒体,パソコン若しくはローカ

ルサーバのような局所的な装置の中又は中央データベース内に蓄積してもよい。

5.2.5

比較サブシステム

比較サブシステムにおいて,特徴は一つ以上のテンプレートと比較され,照合得点が判定サブシステム

に送られる。照合得点は,特徴と比較したテンプレート(群)との適合度を示す。特徴は,登録されたテ

ンプレートと全く同じ形態になることもある。照合では,登録利用者の 1 回の特定要求は,単一の照合得

点を出力する。識別では,多くのテンプレート又はすべてのテンプレートを特徴と比較して,比較ごとに

照合得点を出力することがある。


11

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

5.2.6

判定サブシステム

判定サブシステムは,照合又は識別トランザクションの判定結果のために 1 回以上の入力試行による照

合得点を利用する。

照合の場合,照合得点が規定いき(閾)値を超えるときに,特徴と比較テンプレートとは合致している

とみなす。この結果に基づき,利用者が主張する登録身元の検証が,判定方針に従って行われる。判定方

針によっては,複数回の入力試行を許すこともあるし,複数回の入力を要求することもある。

識別の場合は,被登録身元情報又はテンプレートは,照合得点が規定いき(閾)値を超えるとき,照合

得点が規定値 k に対する最高 k 位以内にあるとき,又は規定いき(閾)値を超えて,かつ,規定値 k に対

する最高 k 位以内にあるとき,その利用者に関する潜在候補となる。判定方針は,識別判定前に複数回の

入力試行を許容するか又は要求してもよい。

注記  複合したバイオメトリックサンプル,テンプレート,スコアを単一のバイオメトリックサンプ

ル,テンプレート,スコアのように扱い,判定サブシステムがスコアの統合又は判定の統合を

適切に処理できるならば,理論上は,マルチバイオメトリックシステムを単一バイオメトリッ

クシステムと同様に取り扱うことができる。

5.2.7

管理サブシステム(図表には描かれていない。)

管理サブシステムは,関連する法的及び社会的な制約事項並びに要求事項に従って,バイオメトリック

システムの全般方針,実装及び使用法を管理する。実例としては,次のようなものがある。

−  データ取得中若しくは取得後又はその両方における対象者へのフィードバックの提供

−  利用者からの追加情報の要求

−  バイオメトリックテンプレート若しくはバイオメトリック互換データ又はその両方の蓄積及びフォー

マット

−  判定結果若しくはスコア又はその両方に関する最終調停の提供

−  いき(閾)値の設定

−  バイオメトリックシステム取得環境の設定

−  操作環境及び非生体認証データ蓄積の管理

−  一般利用者のプライバシーに関する適切な保護手段の提供

−  バイオメトリックシステムを利用するアプリケーションとの協調

5.2.8

インタフェース(図表には描かれていない。)

バイオメトリックシステムは,アプリケーション  プログラミング  インタフェース,ハードウェア  イン

タフェース又はプロトコル  インタフェース経由で,

外部のアプリケーション又はシステムとインタフェー

スとで接続していてもよい。

5.3

一般バイオメトリックシステムの機能

5.3.1

登録

登録では,システムは利用者個人の登録テンプレートを生成し蓄積するために,その利用者によるトラ

ンザクションを処理する。

登録には,一般的に次のものが含まれる。

−  サンプル収集

−  対象領域抽出及び特徴抽出

−  品質評価(サンプル・特徴が,テンプレート生成に不適切であるとして拒否してもよいし,追加サン

プルの収集を要求してもよい。


12

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

−  テンプレート生成(複数サンプルからの特徴を要求してもよい。

,バイオメトリックデータ交換フォ

ーマットへの変換及び蓄積をしてもよい。

−  登録が確実に利用できるものにするための試験照合又は試験識別

−  最初の登録が不満足であると思われる場合は,繰り返し登録入力試行を認めてもよい(登録方針に依

存する。

5.3.2

照合

照合では,システムは利用者の登録に関する肯定的な身元確認要求(例えば,

“私は,利用者 X として

登録されている。

)を検証するために,対象者によるトランザクションを処理する。照合は,その要求を

受理するか又は拒否する。照合判定結果は,正しくない要求を受容した場合(誤受入)又は正しい要求を

拒否した場合(誤拒否)に誤りとみなされる。ある種のバイオメトリックシステムは,一人の一般利用者

が一つ以上の生体特徴事例を登録することを認める場合もあることに注意を要する[例えば,こう(虹)

彩システムは,一般利用者が両方のこう(虹)彩画像を登録することを認めることがあり,指紋システム

は,

一般利用者に 1 本の指を損傷した場合のバックアップとして 2 本以上の指を登録させることもある。

照合には,一般的に次のものが含まれる。

−  サンプル収集

−  対象領域抽出及び特徴抽出

−  品質評価(サンプル・特徴が,比較には不適切であるとして拒否してもよいし,追加サンプルの収集

を要求してもよい。

−  身元確認要求した人物のサンプル特徴と登録されたテンプレートとを比較して,照合得点を計算する。

−  照合得点がいき(閾)値を超えるか否かに基づき,サンプル特徴がテンプレートと合致しているか否

かの判定

−  判定方針に従う 1 回以上の入力試行の照合結果に基づく照合判定

例  登録されたテンプレートと照合するため 3 回までの入力試行が許されている照合システムでは,

誤拒否は,取得失敗及び誤非合致による任意の組合せによる 3 回の入力試行で発生する。誤受入

は,3 回の入力試行のいずれかでサンプルが取得され,要求身元に登録されたテンプレートと誤

合致した場合に発生する。

5.3.3

識別

識別では,システムは利用者の登録身元情報を見つけるために利用者によるトランザクションを処理す

る。識別は,何も入っていないこともあれば,一つの身元情報だけしか入っていないこともある候補身元

情報リストを提供する。利用者が登録されていて,その登録身元情報が候補リストに載っていれば,識別

は正しいとみなす。登録対象者の身元情報が結果として出力される候補リストに載っていない(誤拒否識

別誤り)場合,及び非登録利用者に対して非空白候補リストを出力する(誤受入識別誤り)場合は,識別

は誤りとみなされる。

識別には,一般的に次のものが含まれる。

−  サンプル収集

−  対象領域抽出及び特徴抽出

−  品質評価(サンプル・特徴が,比較には不適切であるとして拒否してもよいし,追加サンプルの収集

を要求してもよい。

−  登録データベース内の幾つか,又はすべてのテンプレートと比較して,比較ごとの照合得点を計算す

る。


13

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

−  照合得点が,いき(閾)値を超えているか,返ってきた最高 k 位のスコアの中にあるか否か,又はそ

の両方であるかに基づいて,各照合テンプレートがその利用者の潜在候補身元情報になるか否かを判

定し,候補リストを作成する。

−  判定方針に従う 1 回以上の入力試行による候補リストに基づく識別判定

注記 1  完全に自動化されたシステムでは,割り当てられた身元情報は,[規定のいき(閾)値を超え

る]最高位の照合得点であるテンプレートに相当する場合がある。オペレータがいる場合,

オペレータによる最終判断のために,システムは上位 r までの候補リストを示す場合がある。

オペレータが有力な照合結果を検査するシステムにおける最終的な性能評価尺度については,

この規格の適用範囲外ということになる。

注記 2  全利用者が登録された識別システムを使う場合,登録者識別誤りは発生しない。登録者限定

識別として知られる,この縮退した場合には,性能評価の関心は通常,出力される候補リス

トのサイズに関連する正確な識別率に向けられる。

5.4

生体情報登録,照合及び識別トランザクション

上記の各バイオメトリック機能は,利用者トランザクションに依存する。トランザクションは,対応す

る判定方針が許容する又は要求する 1 回以上の入力試行からなる。例えば,判定方針が照合につき 3 回の

入力試行を許容することがある。その場合は,トランザクションは,1 回の入力試行からなることもあれ

ば,最初の入力試行が拒否された場合は,2 回の入力試行からなることもあり,また,最初の 2 回の入力

試行が拒否された場合は,3 回の入力試行からなることもある(

図 参照)。

各入力試行での提示の回数は 2 回以上となることがあり,その回数は,センサ動作に依存し,サンプル

品質方針に依存し,提示の回数又は 1 回の入力時間を制限する設定に依存する。例えば,登録入力試行は

バイオメトリックサンプルの 2 回以上の送付が必要になることもある。

バイオメトリック照合システムは,

1 回の入力試行で一連のサンプルを処理することが多い。例えば,(a)  最善の照合サンプルを見つけ出すた

めに,ある一定期間サンプルを収集するか,(b)  合致するか若しくはシステムが時間切れになるまで,サ

ンプルを収集するか,又は (c) 十分な品質のものが得られるか若しくはシステムが時間切れになるまでサ

ンプルを収集する。


14

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

図 2−提示,入力試行及びトランザクション

5.5

性能評価尺度

5.5.1

誤り率

照合判定誤り及び識別判定誤りは,マッチング誤り(すなわち,誤合致及び誤非合致)又はサンプル取

得誤り(すなわち,生体情報登録失敗又は取得失敗)による。これらの基本的誤りがどのように組み合わ

されると判定誤りとなるかは,必要な比較回数,身元確認要求が肯定的(既登録証明)か又は否定的(未

登録証明)かの別,及び判定方針(例えば,システムが複数回数の入力試行を許すか否か)による。

注記  従来,バイオメトリック性能は,例えば誤受入率及び誤拒否率という判定誤り率で規定されて

きたが,それに関する文献中にも矛盾する記述が見受けられた。大規模な識別システムに関す

る文献では,提示されたサンプルが別の利用者によって登録されたテンプレートと誤って合致

したときの“誤拒否”発生に言及している。アクセス制御の文献では,提示されたサンプルが

別の利用者によって登録されたテンプレートと誤って合致したときに“誤受入”が発生すると

記述されていた。

誤合致率及び誤非合致率は,誤受入率及び誤拒否率と一般的に同義ではない。

誤合致率又は誤非合致率は比較の総数に対して計算されるが,誤受入率又は誤拒否率はトラン

ザクションの総数に対して計算され,かつ,既登録確認か又は未登録確認かという既定の仮説

の受理又は拒否に関連する。さらに,誤受入率又は誤拒否率は取得失敗を含む。

5.5.2

スループット

スループットは,計算速度及び人間が装置を操作する時間の双方に基づく,単位時間に処理できる利用

者の数を示す。これらの尺度は,一般にすべてのバイオメトリックシステム及び装置に適用できる。適切

なスループットを達成することは,どんなバイオメトリックシステムにとっても極めて重要である。アク

1 回の入力試行を構成する
ために,1 回以上の提示が

必要とするか又は許容さ
れる。ある種のシステムで
は,提示と配置とは同じこ
とである。

システムがある一つの生
体特徴の複数サンプルを

必要とするか又は許容す
るかによって,あるトラン
ザクションを構成するた

めに,1 回以上の入力試行
が要求されるか又は認め
られる。

バイオメトリックシステ
ム と の 利 用 者 相 互 作 用

は,一連のトランザクシ
ョンから成り立つ。

代表的な判定方針では,N
回の提示後に入力試行を
構成するための十分なバ

イオメトリックデータが
取得できなかった場合は,
失敗入力試行とする。

代表的な判定方針では,
回の入力試行後の登録
又は照合の不能は,失敗

ト ラ ン ザ ク シ ョ ン と す
る。

トランザクション 

・・・

トランザクション 

トランザクション N 

入力試行 

・・・

入力試行 

入力試行 N 

提示 

・・・

提示 

提示 N 


15

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

セス制御システムのような照合システムのスループットは,通常,良質なバイオメトリックサンプル提示

のプロセスにおける利用者の操作時間に支配される。社会サービスプログラムへの登録のような識別シス

テムのスループットは,登録サンプルを蓄積したテンプレートのデータベースと比較するのに要するコン

ピュータ処理時間によって大いに影響を受ける可能性がある。

したがって,

システムのタイプによっては,

利用者がシステムを操作する回数及び計算ハードウェアの処理速度を測定することが適切な場合もある。

コンピュータ処理速度の実効的なベンチマークは,[12]の本文で扱っており,この規格の適用範囲外とす

る。人間対機械の相互作用の速度測定は,相互作用の開始を示す行為及び相互作用を終了させる行為の厳

密な定義付けを必要とする。この定義付けは,試験を開始する前に決定し,試験報告書に注記することが

望ましい。試験報告書には,人間対機械の相互作用に含まれる利用者行為の簡単な一覧表も入れることが

望ましい。

5.5.3

性能評価の種別

バイオメトリックシステムの試験には,入力画像又は信号の収集が含まれる。それらは,登録時のテン

プレート生成のために使われるとともに,照合又は識別入力試行の照合得点計算のために使用する。収集

した画像・信号は,オンライン登録,照合又は識別のために直ちに使用したり,又は,蓄積しておいて,

後でオフライン登録,照合若しくは識別のために使用することができる。

a)

テクノロジ評価では,すべてのアルゴリズムの試験は,理想的にいえば“ユニバーサル”センサ(す

なわち,試験するすべてのアルゴリズムに等しく適しているサンプルを集めるセンサ)によって集め

た,標準化したコーパスで実施する。それでもなお,このコーパスに対する性能は,環境及びそれを

収集した母集団の両方に依存する。データ例は,試験以前に開発又は調整のために配布されるが,実

際の試験は,アルゴリズム開発者がそれまでに見たこともないデータに基づいて実施しなければなら

ない。試験は,データのオフライン処理を用いて実施する。コーパスは不変であるので,テクノロジ

試験の結果は再現可能である。

b)

シナリオ評価では,試験は対象となる実在するアプリケーションをモデル化した環境においてシステ

ム全体で実施する。試験される各システムは,自前の取得センサをもっているため,わずかに異なっ

たデータを受信するはずである。それゆえに,複数のシステムを比較する場合,試験されるシステム

のすべてを横断したデータ収集は,同じ母集団をもった同じ環境の中で行うように注意する必要があ

る。試験は,各装置のデータ蓄積能力のいかんによって,オフライン比較とオンライン比較とを組み

合わせたものになる可能性がある。試験結果は,モデル化したシナリオによって詳細に管理できる範

囲においてだけ再現性がある。

c)

運用評価では,運用システムのデータ蓄積能力によっては,オフライン試験ができない場合もある。

一般に,運用試験結果は,運用環境間の未知で文書化されていない相違のために再現可能ではない。

さらに,特に運用評価が運用責任者,オペレータ又は観測者のいない無監督状態で実施された場合,

(正誤判定に用いる)正解”

(すなわち,だれが実際に“使用法に忠実な”バイオメトリック測定値

を提示したか)を確かめることは難しくなる可能性がある。

附属書 は,様々な評価形式の様々な特性を要約したものである。

6

評価計画

6.1

一般的な事項

評価における第一歩として,試験責任者は,次の事柄を決めなければならない。

a)

評価すべきシステム・アプリケーション・環境


16

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

b)

測定すべき性能に関する事項

c)

性能評価用データ集合作成の方法(すなわち,次のうちのどれが適切な評価形式であるか:テクノロ

ジ評価,シナリオ評価又は運用評価)

これらの決定事項は,適切な環境制御,被験者選定及び試験規模の明細を規定した,適切な試験規約を

開発するための基礎を成す。

注記  評価形式の選択は,例えば,テクノロジ評価用の試験サンプルのコーパスが入手できるかどう

か,又は運用評価用の導入システムが入手できるかどうかによって,決定される可能性がある。

状況によっては,バイオメトリック識別システムの最終選定に向けて,モダリティの選択肢及

び候補となるシステム群を徐々に絞り込んでいきながら,3 種類すべての試験形式を順に実行

することもある。

6.2

この規格群の他の部の利用

試験責任者は,システム及びアプリケーションの違いに応じて,違った試験方法論を必要とする。試験

方法論の違いをもたらす要因として,次のようなものがある。

a)

環境の相違

b)

利用者母集団の相違(例えば,利用者の習熟の相違)

c)

バイオメトリックモダリティの相違(例えば,モダリティが異なれば異なった環境条件によって影響

を受けることによるもの,及び主として行動的生体認証と主として身体的生体認証との間の相違によ

るもの。

d)

関心のある性能評価指標の相違(例えば,照合の総合的な性能,登録者非限定識別及び登録者限定識

別は,測定の方法が異なる。

e)

入手できるデータの相違(例えば,予備選択を用いる識別システムは,必ずしもすべてのサンプル特

徴の照合得点をテンプレート比較に提供するわけではない。しかしながら,予備選択によって欠落し

たデータは,未知であると処理することはできない。そのサンプルは,予備選択で欠落しなかったい

かなるテンプレートと比較しても悪い照合得点が付きそうである。

f)

(利用者が要求身元を提示しない場合に)識別システムに対して(正誤判定に用いる)正解(登録者

に関して正解とすべき身元情報)を与えるときに追加的に生じる問題

この規格は,性能評価を実施し報告するための基本原則だけを規定している。個々の評価形式,バイオ

メトリックモダリティ,対象アプリケーション,又は評価目的に関するより具体的な手引き及び要求事項

は,この規格群の他の部で規定されている。

6.3

システムに関する情報の判定

試験責任者は,適切なデータ収集手順を計画するために,試験するシステム(群)に関する次の情報を

判定しなければならない。

a)

システムは,トランザクション情報を保存するようになっているか。なっていない場合は,この情報

は,被験者,オペレータ又は試験監視者(観測者)が手作業で記録しなければならない。

b)

システムは,

トランザクションごとのサンプル画像又は特徴を保存するようになっているか。

これは,

照合得点をオフラインで生成する場合に必要になる。

c)

システムは,照合得点を返すようになっているか,又はただ受入判定若しくは拒否判定を返すだけに

なっているか。後者の場合は,DET 曲線(7.2.3 を参照)を作成するために,種々のセキュリティ設定

でデータを収集しなければならないことがある。照合得点が返って来る場合は,パラメタ及び尺度に

関してどんな情報が入手できるようになっているか。


17

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

d)

ベンダーのソフトウェア開発者用キット  (Software Developer’s Kit, SDK)  は,入手できるか。本人照合

得点及び偽者照合得点のオフライン生成は,

次の事項をするために SDK のソフトウェアモジュールを

使用する必要がある。

1)

生体情報登録サンプルから生体情報登録テンプレートを作成する。

2)

試験サンプルからサンプル特徴を抽出する。

3)

サンプル特徴とテンプレートとの間の照合得点を生成する。オフラインコードで作り出す照合得点

は,本物のシステムが作り出すものと等しいことが望ましい。これには,パラメタの調整が必要に

なることもある。

e)

試験のためにシステムの修正が必要となるか。必要となる修正は,システムの性能特性を変えてしま

うか。

f)

システムは,

(他人の情報に影響しない)独立したテンプレートを作成するようになっているか。ある

人物を登録することによって他人のテンプレートが影響を受ける場合には,偽者トランザクションを

収集又は作成するための正しい手順は,異なる(7.6.2.6 及び 7.6.3.2 参照)

g)

システムは,照合がうまく行った後にテンプレートを学習させるアルゴリズムを用いているか。そう

なっている場合は,テンプレートの学習は性能を測定する前にどれくらいにしておくのが望ましいか

について考慮しなければならない。また,偽者試験がテンプレートに悪影響を与える可能性があるか

どうかについても考慮しなければならない(7.4.4 及び 7.6.1.4 参照)

h)

対象アプリケーションに対する推奨画像品質及び比較判定いき(閾)値はどうなっているか。これら

の設定値は,提示サンプルの品質及び誤り率に影響を与える。

i)

期待される概算誤り率は分かっているか。この情報は,試験規模が適切であるか否かを判定するのに

役立つはずである(B.1 参照)

j)

この形式のシステムに対して性能に影響を与える要因は何か。これらの要因は,制御されなければな

らない(6.4 参照)

k)

性能は,生体情報登録データベースの規模に依存するか。識別システムのほとんどが規模依存になっ

ているだけでなく,照合システムの場合でも,グループ登録を実行する照合システム及び 1 対多検索

を照合処理の中に組み込んだ照合システムといった幾つかの照合システムでは規模依存になっている。

注記  シナリオ試験及び運用試験では,最適な性能のための装置及び環境の調整[品質いき(閾)

値及び判定いき(閾)値を含む。

]は,どれもデータ収集に先立って行われる必要がある。品

質評価をより厳密にすると,誤合致及び誤非合致をより小さくすることができるが,取得失

敗率はより高くなり得る。比較結果が利用者に提示される場合には,判定いき(閾)値もま

た適切に設定する必要がある。正又は負のフィードバックが,利用者の行動に影響を与える

からである。最適な環境及び設定間のトレードオフに関する情報をベンダーから入手できる

こともある。

6.4

性能に影響を与える要因の制御

6.4.1

バイオメトリックシステムの性能評価結果は,アプリケーション,環境及び母集団に強く依存する。

附属書 は,バイオメトリックシステムの性能に影響を与えることが分かっている,利用者要因,アプリ

ケーション要因,及び環境・システム要因の一覧を記載している。これらの要因をいかに制御するかは,

データ収集に先立って決定しなければならない。

6.4.2

測定性能に影響を与える要因は,次に示す 4 個の制御可能性クラスのうち 1 個に,明示的又は暗示

的に分けられなければならない。


18

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

a)

それらが及ぼす影響を観察することができるように,

(独立変数として)

実験構造の中に組み込まれた

要因

b)

実験条件の一部となるように制御された要因(評価をしている間は不変)

c)

実験を通して無作為化される要因(個別には無視できないが,総体としては互いに影響を打ち消し合

う要因)

d)

ごくわずかな影響しか及ぼさないと判断される要因。この要因は無視される。この最後の分類がなけ

れば,実験は不必要に複雑になると思われる。

この分類を行うためには,どの要因が最も重要であるか及びどの要因が無視しても安全であるかを判定

するために,システムの予備試験が必要になることもある。どの要因を制御すべきかを判定するときに,

内部妥当性(製品間の実際の性能差と試験結果との整合性。すなわち,性能の相違は,研究で記録した独

立変数だけによるものである。

のニーズと外部妥当性

(試験した製品の実働時性能と試験結果との整合性。

すなわち,結果は,対象アプリケーションにおける性能を正確に表したものである。

)のニーズとの間に矛

盾が起きる可能性がある。

例  2 個のシステムの性能を比較する場合を想定する。このとき,生体情報登録監督者の技能又は個

人特性が性能に影響を与えるかどうかが懸念される場合,この要因を制御する上で可能な方法に

は,次のものがある。

a)

システム間での性能差異の測定と同じように,監督者が異なった場合の性能差異測定試験を

計画する。

b)

ただ一人の監督者を用いるか,又は実験を通して監督者・被験者間の相互作用が可能な限り

一貫するよう気を付ける。

c)

生体情報登録の入力試行をすべての監督者間に無作為に割り当て,それによって系統的な偏

りを避ける。

d)

生体情報登録監督者間の差異がシステム間の差異と比べて小さいという事前の証拠がある場

合,その実験では,この要因を無視してもよい。

6.4.3

テクノロジ試験では,試験が評価するシステムにとって難し過ぎず,かつ,易し過ぎないことを確

かめた上で,ある一般的なアプリケーション及び母集団を想定してもよい。

6.4.4

シナリオ試験では,現実的な環境を代表する利用者でバイオメトリックシステムを試験できるよう

にするため,実際のアプリケーション及び母集団を特定しモデル化するのが望ましい。

6.4.5

運用試験では,環境及び母集団は,試験責任者による制御はほとんど受けず,本来の状態のままで

確定される。

6.4.6

試験を計画するときに特に重要なことは,生体情報登録と照合データ・識別データの収集との間の

時間間隔である。一般に,時間間隔が長くなればなるほど,

“テンプレートエージング”といわれる現象に

よってサンプルをテンプレートと合致させることがだんだん難しくなる。これは,バイオメトリックパタ

ーン,その提示,及びセンサの時間関連変化によって引き起こされる誤り率の上昇のことである。したが

って,本人トランザクションデータの収集は,対象アプリケーションに見合った間隔で生体情報登録と時

間的に分けなければならない。この間隔が分からない場合は,時間間隔は,できる限り長くするのが望ま

しい。大体の目安としては,少なくともその身体部分が外傷から回復する一般的な時間程度はサンプルを

分離させることである。

例  指紋では,2 週間∼3 週間で十分であろう。眼の構造はより早く回復すると思われ,ほんの 2 日又

は 3 日だけの間隔でよい。調髪は身体構造の外傷の一種と考えると,顔画像は,おそらく 1 か月


19

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

又は 2 か月間分離することが望ましい。

注記  (照合得点を向上させる)利用者の習熟又は(照合得点を悪化させる)テンプレートエージン

グを試験するために計画された特別な試験では,長期にわたる複数のサンプルが必要とされる。

テンプレートエージング及び習熟が,異なった既知の時間スケールで起こらない場合には,反

対に作用するそれらの効果を別々に抽出する方法はない。

6.5

被験者選定

6.5.1

生体情報登録機能及びトランザクション機能は両方とも,入力信号又は画像を必要とする。これら

のサンプルは,試験母集団又は被験者集団からのものが望ましい。人工的に生成したサンプル又は特徴(実

際のデータの修正によって造ったものを含む。

)を使う必要がある場合は,そのような使用を報告し,その

正当性を証明しなければならない。また,その生成法及び(その生成法が)適切であると考える上で根拠

とした仮説を記述しなければならない。合成データに対する結果と非合成データに対する結果とは,別々

に報告しなければならない。また,合成データと非合成データとを混合したデータに対する結果は,その

混合の詳細を報告しなければならない。

注記  人工的に生成した画像の使用は,テクノロジ評価における内部妥当性を改善する。性能に影響

するすべての独立変数を制御することができるからである。しかしながら,外部妥当性が引き

下げられるおそれがある。コーパスは,その生成に使われたものと同じ方法でバイオメトリッ

ク画像をモデル化するシステムに関して偏りを生じさせる可能性も高い。

6.5.2

被験者集団には,試験するバイオメトリックシステムを開発又は調整するために,生体特徴を以前

に使ったことのある人々が含まれていてはならない。

6.5.3

被験者集団は,その性能を試験結果から予測する対象アプリケーションの被験者集団と人口統計的

に類似しているのが望ましい。このようになるのは,対象アプリケーションを使う見込みの利用者から被

験者を無作為に選定した場合である。そうでない場合は,ボランティアに頼らざるを得なくなる。

注記  ボランティアを人口統計に類似させるように再サンプリングする,加重平均によって人口統計

に近い結果に再構成する,などが行われる。

6.5.4

被験者集団をボランティアから募集することは,試験を偏らせるおそれがある。例えば,定常的に

使用する人であるか又は肉体的にハンディのある人であるかを問わず,特異な特徴をもった人々は,サン

プル母集団では十分に代表されていない可能性がある。バイオメトリック技術の利用に強固に反対する

人々は,進んでは試験に参加しそうにない。被験者集団ができる限り代表的であり,既知の問題事例を十

分に代表しないことがないようにするためには,ボランティアから不均等に選定しなければならないこと

もある。バイオメトリックシステム性能に影響を及ぼす人口統計的要因に関する現行の理解は,余りに貧

弱すぎて,対象母集団に対する近似は,常に試験予測値を制限する主要問題となる。

6.5.5

生体情報登録及び試験は,通常,対象アプリケーションのいかんによって,何日,何週間,何箇月

又は何年も離れた別のセッションで実施される。この全期間にわたって安定した構成員をもった被験者集

団は,見つけるのが困難であり,何人かの被験者が生体情報登録と試験との間に脱落すると思ったほうが

よい。

6.5.6

利用者が自ら進んで生体情報を提示する(明示的提示)対象アプリケーションでは,被験者集団の

行動が対象アプリケーションを使用するときの行動に従うようにするために,適切に指導及び動機付けす

るのが望ましい。被験者が決まりきった試験に退屈してくると,彼らは,変わった試みをしたくなるか又

はだんだん注意散漫になる。そのような可能性は,回避しなければならない。

6.5.7

利用者が意識しない間に生体情報を取得する(非明示的提示)対象アプリケーションでは,被験者


20

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

は,理想的にいえば,サンプルの取り込みが起こっている瞬間に,あたかもそれに気が付いていないかの

ように振る舞うことが望ましい。これは,長期間にわたってデータを受動的に取り込むこと,及び RFID

タグを使うことで被験者が入力しなくとも正しい身元情報を得られるようにすることによって達成できる

可能性がある。

6.5.8

可能であれば,被験者は,必要となるデータ収集手順についてすべて知っており,原データの使わ

れ方及び頒布の仕方について承知しており,必要となるセッションの回数及びセッションの持続時間につ

いて知らされていることが望ましい。データ使用の有無にかかわらず,被験者集団の身元は公表しないほ

うがよい。各被験者がこれらの問題を了解していることを認める同意書に署名してもらうのが望ましく,

試験責任者は,それを内密に保存しなければならない。

注記  利用者が意識しない識別システムにおける運用試験のような形式の試験では,被験者への通知

は現実的でない場合がある。又は,通知することで被験者の行動が変化し,それゆえ収集した

結果が無効になる場合もある。

6.6

試験規模

6.6.1

一般的な事項

被験者数,実施した入力試行の回数(及び,適用できる場合は,一人当たりの使用した指,手又は目の

数)で表される評価の規模は,誤り率がいかに正確に測定されるかに影響を及ぼす。試験が大規模になれ

ばなるほど,試験結果の精度が向上する可能性が高い。所定の精度水準を得るために必要となる入力試行

回数の下限を規定するために,

B.1 に示した)

3 の法則及び 30 の法則といった法則が使われることもある。

しかしながら,これらの法則は楽観的に過ぎない。なぜならば,ここでは誤り率は単一の変動性源による

と仮定しているが,一般に生体認証ではこの仮定は成立しないからである。一人当たり 10 組,100 人から

得た生体情報の登録−試験サンプル対は,一人当たり一組,1 000 人から得た生体情報の登録−試験サンプ

ル対と統計的に同等ではなく,結果に同水準の確実性を与えない。

注記  試験規模が増えるにつれて,推定値の分散は減ってくるが,スケール因子は変動の原因に依存

する。例えば,1/(入力試行回数)の代わりに 1/(被験者数)としてスケーリングされた分散

成分が与えられた場合,利用者は異なる誤り率を得るかもしれない[16]。この影響は,

附属書 B

の中で詳細に示す。

6.6.2

利用者一人当たり複数のトランザクションの収集

6.6.2.1

評価では,被験者ごとに複数のトランザクションを収集してもよい。利用者ごとに幾つかのトラ

ンザクションを収集したほうがよい状況には,次のものがある。

a)

経時変化,習熟及びその他の系統的変動の影響に関する試験

b)

テンプレート更新を用いたシステムの試験

c)

利用者ごとに異なる個々の誤り率の範囲に関する試験

d)

試験前にトランザクションの完全な定義付けをしなかったとき,例えば,トランザクション当たりの

入力試行の回数によって,性能がいかに変化するかを判定するため。

注記  仮に,被験者集団を調達し生体情報登録する費用と労力とを考慮に入れる必要がないと仮定

するならば,理想的な試験としては,それぞれがただ 1 回のトランザクションを行う多くの

被験者を使えばよいことがあるだろう。これによってトランザクション間の独立性が備わる。

しかしながら,現実の世界では,新しい被験者を探して生体情報登録するよりも,既に生体

情報登録した者を戻す方が極めて容易である。さらに,入力試行がなされるときはいつでも,

わずかな労力をかけるだけで,同時に幾つかの追加の入力試行を収集することができる。そ


21

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

のような複数のトランザクションは,幾つかの相関関係を示す。それにもかかわらず,少な

い被験者について一人当たり複数のトランザクションを用いる試験の方が,同じ費用で行う,

それよりは多少多い被験者について一人当たり 1 回だけのトランザクションを用いるよりも,

より確実な試験結果が得られる場合が多い。

6.6.2.2

被験者一人につき収集する試験トランザクションの回数及び頻度は,対象アプリケーションに即

していることが望ましい。トランザクションパターンの変更が誤り率に大きな影響を及ぼさないのであれ

ば,試験計画でこれを変えてもよい。

注記  利用者一人当たりの入力試行の回数及びパターンを変更することは,利用者の行動に影響し,

その結果,次のように,測定される誤り率に対して十分に大きな影響を与える可能性がある。

まず,装置に対する慣れ親しみの増加又は認証結果のフィードバックによって,継続的な入力

試行に伴って利用者の行動が変化することがある。例えば,利用者が行う最初の入力試行は,

その後に続く入力試行よりも高い失敗率になる可能性がある。結果として,観測される誤非合

致率は,試験規約によって定義された利用者ごとの入力試行のパターンに依存する。一般に,

誤り率は,対象となる母集団に対する平均だけでなく,利用者が行うことが妥当な入力試行の

種類も平均して測定される。複数の入力試行で平均することが,この場合の助けとなるが,利

用者一人当たりの入力試行の回数及びパターンの変更は,このことの妥当性を損なうからであ

る。

例  利用者が装置又はバイオメトリックアプリケーションに不慣れであることが望ましい試験におい

ては,複数のトランザクションを使用することは,不適切である。

6.6.3

試験規模

試験精度を判定する上では,試験を受ける人数の方が,入力試行の合計回数よりも重要である。

a)

被験者集団は,できる限り大きくなければならない。実行可能性の基準は,被験者集団の募集及び追

跡の費用となることが多い。

b)

入力試行の合計回数が 3 の法則又は 30 の法則の適切な方が要求する回数を超えるように,被験者一人

につき十分なサンプルを収集しなければならない。これらの複数サンプルを異なった日に,又は異な

った指,目若しくは手から,収集することができ(追加したサンプルが依然として通常の使用を代表

していれば)

1)

,そうすることは,同一人物によるサンプル間の従属性を減らすのに役立つはずである。

c)

データを収集・分析した後,性能評価尺度の不確実性を推定して,試験が十分な大きさであったか否

かを判定しなければならない。

注記  収穫逓減の法則が当てはまる。すなわち,被験者集団の規模及び試験数を大きくしていくこ

とで誤差が減っていくが,ある段階に達すると,使用環境又は被験者選定の偏りから生じる

誤差の影響の方が強くなり,規模を大きくすることによる精度に対する効果が小さくなって

いく。

1)

  例えば,小指の使用は,おそらく指紋システムの通常の使用を代表しているものではなく,

結果として生じる誤り率は異なったものになる[17]。同様に,左手の鏡映像は,右手用の掌形

システムでの通常のデータを代表するものではない。

6.7

複数試験

6.7.1

データ収集の費用は非常に高いので,1 回のデータ収集努力で複数の試験を実施するのが望ましい

といえる。テクノロジ評価は,これを見込んでいる。画像標準が存在しているバイオメトリック装置[指

[18],顔[19],こう(虹)彩[20]及び声[21]]の場合は,複数ベンダーからのパターンマッチングアルゴ


22

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

リズムのオフライン試験用に 1 個だけのコーパスを集めてもよい。事実上,これによって,データ収集と

信号処理サブシステムとが切り離される。しかしながら,通常,これらのサブシステムは完全には独立し

ていないので,これには問題がないわけではない。例えば,画像を再取得するためにデータ収集サブシス

テムを必要とすることもある品質評価モジュールは,信号処理サブシステムの一部である。さらに,たと

え画像標準が存在していても,画像品質は,データ収集過程を誘導するベンダー固有利用者インタフェー

スによって影響を受ける。結果として,標準化したコーパスを用いたアルゴリズムのオフライン  テクノロ

ジ評価は,システム全体の性能をよく示していない可能性もあり,また,あるシステムが他のシステムよ

りも有利になるように偏っていることもある。

6.7.2

複数システムのシナリオ評価も,被験者集団にセッションごとに幾つかの異なる装置又はシナリオ

を使用させることによって同時に実施することができる。しかしながら,この取組み方は,注意を要する。

考えられる一つの問題は,被験者が装置から装置に移動するにつれて慣れてくることである。この影響を

すべての装置にわたって均等にするために,

各被験者へのそれらの提示順序を無作為化するのが望ましい。

ある装置に対する理想的な行動が別の装置に対するものと矛盾する場合,さらなる潜在的な問題が発生す

る。例えば,ある装置は動画に最もよく作動するのに対して,他の装置は静止画を必要とする。そのよう

な矛盾は,試験中の一つ以上の装置に対する低品質試験画像という結果を生じる可能性がある。

7

データ収集

7.1

データ収集誤りの回避

7.1.1

収集したバイオメトリック画像サンプル又は特徴は,正しくはコーパスと呼ばれる。これらの画像

及びそれらを生み出した利用者に関する情報は,メタデータと呼ばれる。コーパスとメタデータとは両方

とも,収集処理中の人的誤りによって破損される可能性がある。収集処理での誤り率は,簡単にバイオメ

トリック装置の誤り率を超えるかもしれない。このため,コーパス誤り(誤取得画像)とメタデータ誤り

(誤ラベル画像)との両方を回避するように,データ収集中には細心の注意を払わなければならない。

7.1.2

典型的なコーパス誤りは,次のようなものである。

a)

システムを不正確に(及び実験制御の許容範囲外で)使用する被験者。例えば,誤って指紋スキャナ

を逆さまに使用するような被験者。

b)

利用者が個人識別番号を入力したが,適切な画像が取り込まれる前に先に進んだ場合に,空白又は破

損した画像が取得されるような事例

7.1.3

メタデータ誤りの考え得る原因には,次のようなものがある。

a)

間違った個人識別番号が発行された被験者

b)

個人識別番号入力時のタイピング誤り

c)

間違った身体部分の使用,例えば,人差し指が要求されているときに中指を使用

7.1.4

キーボード入力を必要とするデータの量を最小にするデータ収集ソフトウェア,入力データを二重

チェックするための複数の収集要員,及び冗長性をもたせたデータを用いなければならない。監督者は,

システムの正しい操作及び警戒すべき起こり得る誤りに精通していなければならない。何が誤取得サンプ

ルとなるかについての解釈が変わることを避けるために,客観的な基準を前もって定めておかなければな

らない。収集行動を取り巻くあらゆる異常な状況及び影響を受けたトランザクションは,収集要員が記録

しておかなければならない。

7.1.5

いかに注意しても,何らかのデータ収集誤りは起こり得る。そのことによって,測定試験結果に対

する不確実性が増加することになる。コーパス誤り及びメタデータ誤りの事後修正は,収集システムが内


23

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

蔵している冗長性に基づいているのが望ましく,試験したバイオメトリックアルゴリズムの出力だけに依

存していないほうがよい。この点で,サンプル画像,トランザクションの記録,又はその両方を保存でき

るシステムは,すべての詳細を手作業で記録しなければならないシステムよりも,多くの誤り修正手段を

提供する。

7.1.6

収集要員は,収集したサンプルが前もって決定され,文書化し,公表されている正式な除外基準に

適合しない限り,それらのサンプルを手動で捨ててはならないし,自動除外機構を使うこともしてはなら

ない。そのようにして除外したサンプル数は,報告しなければならない。

例  取得領域が 0.25 cm

2

未満の場合には,指紋サンプルを除外する。

7.2

収集したデータ及びその詳細

7.2.1

自動的に収集できるデータは,バイオメトリックシステムの実装によって左右される。システムは,

理想的にいえば,評価のために,要求身元及び照合得点・品質スコアの詳細を含め,すべての生体情報登

録,照合,又は識別の入力試行を自動的に記録し,できればサンプル画像又は特徴も保存することが望ま

しい。これによって次のような利点がもたらされる。

a)

ベンダーの SDK が入手可能であれば,

生体情報登録テンプレート及び照合得点をオフラインで生成す

ることができる。これは,サンプル特徴とテンプレートとの完全相互比較を可能とするもので,より

多くの偽者スコアが与えられる。

b)

収集した画像は,アルゴリズムの改善事項を評価するため,又は(画像が適切なフォーマットである

場合)テクノロジ評価で他のアルゴリズムを評価するために再利用することができる。

c)

潜在的なコーパス誤り又はメタデータ誤りを,画像を視覚的に検査するか,又はトランザクション記

録を調べることによって確認することができる。

d)

手作業で記録することが望ましいデータの量及び転記誤りの可能性が最小限に抑えられる。

7.2.2

多くのバイオメトリックシステムは,通常の操作モードでは,7.2.1 で規定した理想的な機能を提

供しない。ベンダーの協力を得て,この機能を他のすべての点では標準的なシステムに組み込むこともで

きるかもしれないが,システム性能に影響を及ぼさないように注意したほうがよい。例えば,画像を記録

するためにかかる時間は,システムの速度を低下させ,利用者の行動に影響を及ぼすかもしれない。サン

プル画像又は特徴が保存できない場合は,生体情報登録,本人トランザクション及び偽者トランザクショ

ンは,オンラインで実施し,必要であれば結果を手作業で記録しなければならない。すべての結果が確実

に正しく記録されるようにするために,試験要員はこれを綿密に監督しなければならない。

7.2.3

システムによっては,照合得点を返さないで,その時点におけるセキュリティ設定での合致又は非

合致の判定だけを返すものもある。そのような場合に検出エラートレードオフ曲線(DET 曲線)を記入す

るためには,本人入力試行データ及び偽者入力試行データを多くのセキュリティ設定で収集又は生成しな

ければならない。ベンダーは,セキュリティ設定の適切な範囲に関して助言してもよい (

“低”

“中”

“高”

などの)選択したセキュリティ設定値が,判定いき(閾)値の代わりに DET 曲線の媒介変数となる。オン

ライン試験の場合は,誤り率を正しく推定するために,各利用者は,設定された各セキュリティ設定でト

ランザクションを行わなければならない。

注記  利用者の本人入力試行は,徐々に緩い設定にしていき合致が得られた時点でやめ,利用者の偽

者入力試行は,徐々に厳しい設定にしていき非合致が得られた時点でやめるといった試験規約

が構築されるということもあり得る。そのような規約は,

5.5.1 及び 6.6.2.2 

注記で示したよ

うに)複数入力試行の効果で合致率が向上する効果と,判定いき(閾)値の緩和によって合致

が得られる効果とが混在しており,最終的ないき(閾)値における単独入力試行の照合誤り率


24

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

とは異なっているため,この規格には適合しない。

7.2.4

データ収集計画には,被験者がシステムから自分のサンプル及び経歴情報の削除を要求できるよう

な仕組みを入れておく必要があり得る。そうでない場合,編集作業は多大な時間を要し,誤りが起こりが

ちである。

7.3

生体情報登録

7.3.1

生体情報登録トランザクション

7.3.1.1

生体情報登録は,2 個以上のテンプレート(例えば,それぞれの指の指紋ごとのテンプレート又

は複数の顔ポーズのテンプレート)を生成してもよいが,各被験者は,一度生体情報登録するだけにしな

ければならない。1 回の良好な生体情報登録を獲得するために生体情報登録時に複数回の入力試行を認め

てもよい。偶発的に複数回の生体情報登録がなされないように注意しなければならない。

7.3.1.2

生体情報登録サンプルが後ほど合致の結果を得るのに十分な品質であるようにするため,及び被

験者をシステムに習熟させるために,生体情報登録時に練習試験を実施して差し支えない。そのような練

習試験から生じるスコアは,

(生体情報登録直後の性能を測定しているのでなければ)

本人比較記録の一部

として記録しておかないほうがよい。

7.3.1.3

可能であれば,生体情報登録サンプルは,記録しておくことが望ましい。

7.3.2

生体情報登録条件

7.3.2.1

生体情報登録条件は,対象アプリケーションの生体情報登録をモデル化するのが望ましい。生体

情報登録環境の分類[22]が,試験結果の適用性を決定する。ベンダーの推奨事項には従ったほうがよく,

環境の詳細には留意したほうがよい。雑音環境には特に注意する必要がある。雑音は,話者照合の場合は

音響雑音であり,目,顔,指又は手の画像処理システムの場合は光学雑音である。特に,センサに直接当

たるあらゆる光,被写体の身体部分からの制御されない反射などの照明“雑音”は,光学的画像処理を採

用しているすべてのシステムの関心事である。照明条件は,提案されたシステム環境をできる限り厳密に

反映させるのが望ましい。ある雑音環境での試験結果は他の環境に変換できないということに留意するこ

とが,特に重要である。

7.3.2.2

あらゆる生体情報登録は,同じ一般条件下で実施しなければならない。多くのデータ収集努力が,

長期にわたる収集過程の間に規約又は機器が変更されたことによって台無しになってきた

2)

。目標は,提

示効果及び伝送チャネル効果がすべての被験者にわたって一様になるか,又は被験者全体で無作為に変わ

るように,それらの効果を制御することが望ましい。

2)

  有名な例は,KING スピーチコーパスにおける“大分水界(the Great Divide)”[23]である。収集

の中ほどで,今ではだれも思い出せないある理由から,録音装置を一時的に分解しなければな

らなくなった。後に元の配線図に従って組み立て直されたが,それでもなお周波数応答特性が

わずかに変わり,データに分断が生じ,そのデータを基にしたアルゴリズムの科学的分析を複

雑にした。

7.3.2.3

試験が進むにつれて,生体情報登録監督者は,システムに関する実用的知識を追加で獲得する可

能性があり,その後の生体情報登録実施の方法に影響を及ぼす可能性がある。これを防ぐために,生体情

報登録処理及び監督者の介入基準を前もって決定しておかなければならない。また,十分な監督者訓練を

施さなければならない。

7.3.3

生体情報登録失敗及び提示誤り

7.3.3.1

バイオメトリックシステムは,ある生体情報登録入力試行を受け入れないことがある。生体情報

登録に複数の画像を必要とするシステムの品質評価モジュールの中には,提示と提示との間で大きく変わ


25

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

る画像は受け入れないものがある。

一方,

品質が悪い単一画像を拒否する品質評価モジュールも存在する。

これらのモジュールが受入れ基準を調整できる場合は,ベンダーの助言に従ったほうがよい。最大入力試

行回数又は最大経過時間を前もって決めた上で,複数回の生体情報登録入力試行を認めてもよい。すべて

の品質スコア及び生体情報登録サンプルは,記録しておくことが望ましい。生体情報登録入力試行を失敗

した利用者に対して採るべき助言又は救済策は,試験計画の一部として前もって決めておかなければなら

ない。

7.3.3.2

選択された基準で生体情報登録に失敗した被験者の割合は,記録し報告しなければならない。で

きれば,生体情報登録失敗の理由も記録し報告することが望ましい(例えば,生体特徴をもっていない人,

サンプルが取得できない,生体情報登録アルゴリズムの失敗・例外の事例,又は練習入力試行でうまく照

合することができなかった人)

7.3.3.3

すべての品質評価が,自動的になっているわけではない。提示された生体情報登録測定値が,前

もって決定したある基準に不適切である場合は,試験責任者による介入を必要としてもよい。例えば,生

体情報登録しようとしている利用者が,間違った指,手又は目を提示するか,間違った生体情報登録語句

を発声するか,又は間違った名前を署名する可能性がある。このようなデータは,削除することが望まし

い。ただし,削除した事実の記録は保管しておかなければならない。

7.3.3.4

適切でない方法で提示されたバイオメトリックデータを削除するデータ編集は,統計学でいう外

れ値除去の方法に基づいて実行されてもよいが,こうすることの結果として生じる性能評価尺度への影響

は,十分に注意しなければならない。生体情報登録データは,単に生体情報登録したテンプレートが外れ

値であるという理由で削除してはならない。

7.4

本人トランザクション

7.4.1

本人トランザクションデータは,雑音を含め,対象アプリケーションに密接に近似した環境で収集

しなければならない。この試験環境は,収集過程を通して一貫していなければならない。被験者の意欲及

びシステムへの訓練・習熟水準も,対象アプリケーションのものを反映していることが望ましい。

注記  テクノロジ評価の場合には,対象アプリケーションは,試験対象のアルゴリズムの能力に対し

て難し過ぎず,かつ,易し過ぎないようなものが想定される。

7.4.2

収集過程は,提示及びチャネル効果がすべての利用者で一様であるようにするか,又は利用者全体

で無作為に変動するようにするのが望ましい。これらの効果が利用者全体にわたって一様に保たれている

場合は,生体情報登録中に実施したものと同じ提示及びチャネル制御を試験データの収集にも実施するの

が望ましい。生体情報登録データと試験データとの間の提示及びチャネル効果の系統的な変動は,これら

の要因によってゆがめられた結果をもたらす。提示及びチャネル効果を被験者全体にわたって無作為に変

動させられる場合は,すべての利用者にわたって生体情報登録セッションと試験セッションとの間でこれ

らの効果の相関関係がないようにしなければならない。

7.4.3

理想的な事例では,被験者は,生体情報登録と試験データの収集との間に,システムを対象アプリ

ケーションと同じ頻度で使用するのが望ましい。しかしながら,これは被験者集団の費用対効果の高い活

用法ではない可能性がある。いかなる中間使用もやめて,試験データ収集の直前に再度習熟させるための

入力試行を許したほうがよい場合もある。

7.4.4

照合がうまくいった後にテンプレートを再学習するシステムについては,生体情報登録と本人入力

試行及びトランザクションデータ収集との間の何らかの中間使用が適切である場合もある。中間使用の量

は,データ収集前に決定しておき,結果と一緒に報告するのが望ましい。

7.4.5

サンプリング計画は,少数の代表的でない利用者が極端な高頻度で出現するような偏りを防ぐよう


26

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

に設計しなければならない。

7.4.6

データ入力エラーを防止し,収集を取り巻くどんな異常な状況も文書化するように,細心の注意を

払わなければならない。被験者側及び試験運用責任者側のキー入力は両者とも,最小限にするのが望まし

い。

データは,

偽者利用者又はシステムを意図的に誤用する本人利用者によって改悪される可能性がある。

試験要員は,こういった活動を思いとどまらせるようにあらゆる努力をしなければならない。しかしなが

ら,データはシステムの誤用の外部確認が入手できない限り,コーパスから除去してはならない。

7.4.7

利用者が使用可能なサンプルをシステムに提供できないことが,たまにはある。使用可能か否かは,

試験運用責任者又は品質評価モジュールのいずれかによって判定される。これらの情報が別の方法では記

録されない場合には,試験要員は,取得失敗入力試行に関する情報を記録することが望ましい。取得失敗

率は,そのような入力試行の割合を測定したもので,品質いき(閾)値に依存している。品質いき(閾)

値は,生体情報登録の場合と同じようにベンダーの助言に従って設定するのが望ましい。

注記  品質いき(閾)値[及び判定いき(閾)値]の設定は,利用者の行動に影響を与える可能性が

ある。いき(閾)値を厳しくするとバイオメトリックパターンのより注意深い提示が求められ,

緩いいき(閾)値だとよりぞんざいでも許される。それゆえ,コーパス自体も想定されている

ほどいき(閾)値から独立したものではない可能性がある。

7.4.8

試験データは,それが生体情報登録テンプレートと合致するか否かを問わず,コーパスに加えなけ

ればならない。

ベンダーのソフトウェアによっては,

それが生体情報登録テンプレートと合致しない限り,

生体情報登録利用者からの測定を記録しないものもある。そのような状況下でのデータ収集は,誤非合致

率を低く見積もる方向にひどく偏ったものになるおそれがある。このような場合は,非合致誤りは,手作

業で記録しなければならない。データの除去は,照合得点から独立した前もって決まっている原因に関す

るものだけにしなければならない。

7.4.9

すべての入力試行は,取得失敗を含め,記録しなければならない。現実的であれば原画像データを

記録し,それに加えて,可能であれば各サンプルの品質測定値,及びオンライン試験の場合は,照合得点

(群)の詳細を保管しておかなければならない。

7.5

システムに生体情報登録されている利用者の識別トランザクション

7.5.1

生体情報登録利用者の識別トランザクションは,本人照合トランザクションと同じ一般的な方法で

収集し記録しなければならない。記録された結果は,候補身元情報の一覧表からなる。照合得点又は品質

スコアがシステムによって作成される場合は,これらもまた記録することが望ましい。

7.5.2

識別トランザクションは,データベース内の各テンプレートに対する照合トランザクションの集合

として識別処理を模擬することによる生成を含め,

オフラインで生成される可能性がある。

しかしながら,

一般的な場合,識別では,マッチングアルゴリズムによって比較されるテンプレート数を抑えるために,

予備選択を使用している可能性がある。

注記  予備選択アルゴリズムの性能を判定するために,識別入力試行ごとの予備選択テンプレート数

を記録することが望ましい(

附属書 を参照)。

7.6

偽者トランザクション

7.6.1

一般的な事項

7.6.1.1

偽者トランザクションは,オンライン又はオフラインで生成しなければならない。

a)

オンライン偽者トランザクションには,他人の生体情報登録テンプレートと比較するためのサンプル

を提示する被験者が必要である。

b)

オフライン偽者トランザクションは,本人トランザクション又は生体情報未登録被験者による別個の


27

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

トランザクション集合のいずれかで収集したサンプルから抽出した特徴を生体情報登録テンプレート

に対して比較することによって生成される。オフライン計算は,あらゆるサンプル特徴があらゆる非

自己テンプレートに対して比較される完全相互比較を可能にする。

7.6.1.2

オンライン偽者トランザクション又はオフライン偽者トランザクションのいずれを使用するか

は,評価形式によって決まることが多い。

a)

テクノロジ評価においては,偽者トランザクションは,常にオフラインで分析される。しかし,場合

によっては偽者入力試行コーパスが,相互比較偽者トランザクションの代わり又は追加情報として分

析される場合もある。

b)

シナリオ評価の場合,最も適切な方法の選択は,システムが本人トランザクションからサンプルを保

存することができるか否かにおそらく左右される。保存できる場合は,相互比較は,被験者のオンラ

イン使用によって達成されるよりもはるかに多くの偽者入力試行を生成する。

c)

運用評価について,偽者スコアの作成は簡単な仕事ではない可能性がある。運用システムがサンプル

画像又は抽出特徴を保存する場合は,偽者スコアはオフラインで計算できる。そのようになりそうで

あるが,このデータが保存されない場合は,偽者スコアはオンライン試験によって取得することがで

きる。利用者ごとにデータの統計的性質が異なるために,数人の被験者が多くの非自己テンプレート

に挑むよりは,多数の偽者被験者を使って,各人が無作為に抽出した少数の非自己テンプレートに挑

むほうが好ましい。場合によっては,偽者トランザクションのためにテンプレート間比較を用いるこ

とが妥当なこともある。

7.6.1.3

偽者トランザクションは,個人内の比較に基づいていてはならない。バイオメトリックモダリテ

ィによっては,利用者は異なった個別生体特徴,例えば,10 指までのいずれかの指,左右のいずれかの目

などを提示できる場合もある。単一被験者からの異なったサンプルの独立性を改善するために,評価では

2 個以上の指,手又は目の生体情報登録を異なった(副)身元情報として認めることもできる。しかしな

がら,個人内の比較は,個人間の比較と同等ではないので,偽者トランザクション集合に入れてはならな

い。

例  同一人物からの異なった指紋は,指紋隆線のピッチが似ており,異なった人物間の指紋よりも合

致しやすい。

7.6.1.4

照合がうまく行った後にテンプレートを学習するシステムでは,この学習能力は,偽者トランザ

クション中は無効にすることが望ましい。無効にできない場合は,すべての本人試験トランザクションが

収集されるまで,偽者トランザクションの収集は遅らせたほうがよい。

7.6.2

偽者トランザクションのオンライン収集

7.6.2.1

オンライン偽者トランザクションは,今までのすべての生体情報登録から(たまには同じ人口統

計群内の今までのすべての生体情報登録から)無作為に抽出した所定数の非自己テンプレートの各々に対

して,意図的でない偽者入力試行を各被験者に行わせることによって収集される。無作為抽出は,利用者

間で独立でなければならない。

注記  様々な(おそらく未知の)環境及び母集団から取得したバイオメトリックサンプル又はテンプ

レートのバックグラウンド  データベースを使用することは,最良の事例だとは考えられていな

い。

7.6.2.2

結果として生じる偽者スコアは,偽者及び偽装の対象となったテンプレート両方の本当の身元と

一緒に記録しなければならない。偽者トランザクションは,本人トランザクションと同時に行われやすい

ので,結果を正しいスコア集合に帰するように注意しなければならない。


28

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

7.6.2.3

偽者入力試行は,本人入力試行と同じ条件で実施しなければならない。

7.6.2.4

詐称者として扱われていることに被験者が気付いた場合,被験者の行動が変化し,現実の応用に

適さない結果をもたらすことがある。特に行動的特性に基づいたバイオメトリックシステムでは,この傾

向が顕著である。したがって,潜在意識的な提示の変化でさえ回避するために,理想的にいえば,被験者

には現行の比較が本人トランザクションなのか,偽者トランザクションなのかについて知らせないほうが

よい。

7.6.2.5

偽者トランザクションは,すべての被験者が生体情報登録を済ませる前に収集してもよい。最初

に生体情報登録したテンプレートは,

偽者比較の標的にされる確率が高くなるが,

通常そうであるように,

バイオメトリック測定値の品質に無関係な順序で被験者が生体情報登録されている場合は,これによって

偽者誤り率の計算が偏ることはない。

7.6.2.6

テンプレートが他人の情報に影響するシステムでは,

(登録者限定識別の場合を除いて)偽者入

力試行を行う被験者は,その入力試行をしているときはデータベースに登録してはならない。このことに

は,システムに生体情報登録されないので偽者として利用することができる被験者の部分集合を選ぶこと

も含まれる。

7.6.3

偽者トランザクションのオフライン生成

7.6.3.1

一般的な事項

7.6.3.1.1

オフライン偽者比較は,次の事項のうちのいずれかを実行することによって,オンライン比較

と同じ基本的な方法で実施できる。

−  非自己比較のためにサンプルとテンプレートとの両方を無作為に復元抽出する。

−  本人サンプルごとに,生体情報登録されたすべての非自己テンプレートの中から若干数のものをサン

プル特徴と比較するために無作為に抽出する(テンプレートの無作為抽出は,サンプルごとに独立し

て行う。

−  完全相互比較を実行する。すなわち,各サンプル特徴をすべての非自己テンプレートと比較する。

7.6.3.1.2

オフラインでの照合得点の生成は,SDK のベンダーから入手できる形態のソフトウェアモジュ

ールで実施するのが望ましい。あるモジュールは,生体情報登録サンプルからテンプレートを生成する。2

番目のモジュールは,試験サンプルからサンプル特徴を生成する。これらのモジュールは,ときには同じ

コードの一部であることもある。3 番目のモジュールは,サンプル特徴のテンプレートへの割当てに対し

て照合得点を返す。処理時間が問題でなければ,すべての本人サンプルからの特徴を,すべての非自己テ

ンプレートと比較するのが望ましい。

(同じ被験者集団からの)個のテンプレート及び 個の特徴がある

場合,非自己テンプレートに対して N(T−1)回の比較を実行することができる。これらの偽者比較は,統

計的には独立していないが,この方法は,統計的に不偏であり,無作為抽出偽者比較を用いるよりも効率

的な推定手法であることを表している[24]

7.6.3.1.3

多くのバイオメトリックシステムは,1 回の入力試行で一連のサンプルを収集し処理する。例

えば次がある。

a)

ある一定時間にわたってサンプルを収集して,最も良く合致したサンプルにスコアを付ける。

b)

合致が得られるか又はシステムが時間切れになるまで,サンプルを収集する。

c)

十分な品質のものが得られるか又はシステムが時間切れになるまで,サンプルを収集する。

d)

最初のサンプルからのスコアが判定いき(閾)値に非常に近いときは,サンプルをもう一つ収集する。

これらのような場合,本人入力試行からの単一のサンプルは,偽者サンプルとしては適切でない可能性

がある。事例 a)  では,保存されるサンプルは,本人テンプレートに最も良く合致したものである。しか


29

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

しながら,偽者入力試行は,偽装の対象となったテンプレートに最も良く合致しているサンプルに基づい

たものになる。

相互比較を単一の本人サンプルに基づいて行うのが適切であるか否かを判定するためには,

次の二つの質問に答えなければならない。

−  保存したサンプルは,比較されるテンプレートに依存しているか。

−  もしそうであれば,これは,生成される照合得点に実質的な影響を与えるか。

これらの両方の質問に対する答えが“イエス”であれば,一連のサンプル全体を保存してオフライン分

析で利用するか,偽者スコアをオンラインで生成するかしなければならない。

7.6.3.2

テンプレートが他人の情報に影響するときの偽者トランザクションのオフライン生成

7.6.3.2.1

テンプレートが他人の情報に影響するシステムでは,生体情報登録テンプレートを作成するた

めにジャックナイフ法を用いて,公平な偽者スコアを生成してもよい。ジャックナイフ法とは,一人の被

験者を省いて被験者集団全体を生体情報登録することである。省かれたこの被験者は,未知の偽者として

使用され,そのサンプル特徴をすべての生体情報登録テンプレートと比較する。この生体情報登録処理を

被験者集団要員ごとに繰り返すと,偽者スコア集合一式を生成することができる。

7.6.3.2.2

被験者集団が偽者と生体情報登録者とに無作為に分割される簡略法を用いてもよい。オフライ

ン生体情報登録は偽者被験者からのデータを無視し,一方でオフライン誤合致スコア付けは,生体情報登

録者被験者からのデータを無視する。

このやり方は,

ジャックナイフ法よりもデータ使用の効率性は低い。

7.6.3.3

テンプレート同士の比較を用いた,偽者トランザクションのオフライン生成

生体情報登録テンプレートの相互比較は,ときには偽者スコアを提供することがある。これは例えば,

トランザクションのサンプル又は特徴が保存されない場合の運用評価において役に立つはずである。

の試験(又は生体情報登録)テンプレートの各々は,残りの(N−1)回の試験(又は生体情報登録)テンプ

レートと比較することが可能である。テンプレートの相互比較は,次のような場合以外は,使用してはな

らない。

a)

生体情報登録及び照合が,同じ利用者入力を必要とする(例えば,両方とも 1 回だけの提示を必要と

する。

b)

生体情報登録及び照合が,サンプル特徴を抽出し符号化するために同じアルゴリズムを使用する。

c)

生体情報登録に対する品質評価が,照合入力試行に対するものと同じである。

これらの要求事項が満たされなければ,テンプレート相互比較は,偽者スコアの推定に偏った結果を生

じやすい[22]。このことは,生体情報登録テンプレートが,平均化されたものであるか又は最善の生体情

報登録サンプルから抽出されたものであるかを問わず正しい。この偏りを補正する方法は,現在のところ

存在しない。

7.7

システムに生体情報登録されていない利用者の識別トランザクション

7.7.1

誤受入識別率の推定には,システムに生体情報登録していない被験者による識別トランザクション

が必要である。これらの人は,生体情報登録に失敗した被験者であってはならない。

7.7.2

すべての識別入力試行は,対象者の身元情報,結果として生じる候補身元情報の一覧表,及び可能

であれば,照合得点と一緒に記録するのが望ましい。生体情報登録利用者の識別トランザクション及び生

体情報登録されていない利用者の識別トランザクションは,同じ条件下で実施するのが望ましい。

7.7.3

識別性能のデータベース規模依存性を調べて記録するために,識別トランザクションは,生体情報

登録データベース全体のうち様々な規模の一部を選択して収集してもよい。

7.7.4

生体情報登録被験者の生体情報登録サンプル及び識別サンプルが蓄積されている場合,生体情報登

録されていない被験者の識別トランザクションは,ジャックナイフ法を用いてオフラインで生成してもよ


30

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

い。被験者集団全体が,一人の被験者を外して生体情報登録される。そうすると,システムは,被験者集

団の残りの者に対して外した被験者を識別しようとするので,この処理を被験者ごとに順番に繰り返す。

蓄積データの偽者比較に対する妥当性に関する 7.6.3.1.3 の考慮事項は,この場合にも当てはまる。

8

分析

8.1

一般的な事項

8.1.1

被験者集団が対象母集団を代表していて,各被験者が一つの生体情報登録テンプレートをもち,同

じ回数(及びパターン)のトランザクションを行う場合は,観測される誤り率が,真の誤り率の最良の推

定値になる。

8.1.2

被験者集団が対象母集団を代表していない(例えば,既知の問題事例の,ある性質を過度に強調し

てしまう代表の選び方の)場合,又は個々の被験者の試験トランザクションが被験者集団全体のそれらを

代表していない(例えば,平均より多い,又は少ない回数のトランザクションをそれぞれの被験者が行う)

場合は,不均衡を是正するために重み付けした計算をしてもよい。重み付けされた割合を使って誤り率を

推定する場合は,その重み付けの計算法を報告しなければならない。利用者の種別によって重み付けをす

るときは,観測される種別単位の誤り率も報告したほうがよい。

例  被験者によって照合又は識別の入力試行数が異なる場合には,被験者が行った入力試行数に反比

例するように,個々の被験者の誤りに対して重み付けすることも可能である。これは(重み付け

をしない)単純な比率で計算した場合には,システムを利用する頻度が極端に高い利用者による

誤り率,又は受け入れられるまでに必要とする複数回の入力試行による誤り率に引きずられる方

向に,推定される誤り率が偏る可能性があるための対策である。

8.1.3

誤り率は,人ごとに,人の種別ごとに(例えば,男性と女性とで別々の誤り率)

,又は生体特徴の

種類ごとに(例えば,指の位置ごとに別々の誤り率)測定するのが有益なこともある。

a)

個別の計測は,どのようなタイプの人物に対してシステムの性能が高くなる(又は低くなる)のかを

示し,本質的に重要になることがある。

b)

最良の推定値が重み付けされた割合の値であるときは,人ごと又は人の種別ごとの尺度が必要である。

c)

個人ごとの誤り率のばらつきは,性能推定値の不確実性を推定するのに役立つこともある。

8.1.4

生体情報登録誤り,サンプル取得誤り,及び照合又は識別時の誤りを,原因別に分類したり,又は

生体情報登録,取得,若しくはマッチングプロセスの中のステップ別に分類したりすれば,異なる原因ご

との誤り率,又はプロセス内の異なる構成要素ごとの誤り率を判定することが可能になる。

8.2

基本性能評価尺度

8.2.1

生体情報登録失敗率

8.2.1.1

生体情報登録失敗率は,生体情報登録を行うプロセスを完了できなかった集団の割合である。生

体情報登録失敗率には,次のものを含まなければならない。

−  要求された生体特徴を示すことができない人々

−  生体情報登録時に十分な品質のサンプルを提示できない人々

−  生体情報登録が有効であることを確認するための入力試行において,新たに作成されたテンプレート

との確実な合致判定を得ることのできない人々

注記 1  例えば,親指,人差し指などの生体情報登録失敗率を報告するように,異なる指のような,

異なる個別生体特徴の生体情報登録失敗率を測定することもできる。

注記 2  テクノロジ評価時は,解析は前もって集められたコーパスが基になり,サンプル画像の入


31

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

手には問題がないと考えられる。それでも,生体情報登録失敗が含まれている可能性があ

る。例としては,サンプル画像の品質がとても低く,特徴抽出ができない場合である。

8.2.1.2

対象母集団に対する生体情報登録失敗率は,前もって決めた生体情報登録方針の下で,生体情報

登録できない被験者集団の割合(又は重み付けされた割合)として推定しなければならない。

8.2.1.3

生体情報登録失敗率は,生体情報登録用のサンプル品質いき(閾)値,その生体情報登録が使用

可能であることを確認するための判定いき(閾)値,及び生体情報登録トランザクションで生体情報登録

のために認められた入力試行回数又は時間を決定する生体情報登録方針に依存する。

生体情報登録方針は,

観測された生体情報登録失敗率と一緒に記述しなければならない。

注記  生体情報登録で厳しい品質要求を定めることで,生体情報登録失敗率は増加すると考えられる

が,一方でマッチング性能は改善すると考えられる。

8.2.1.4

システムに生体情報を登録できない利用者による入力試行は,取得失敗率又はマッチング誤り率

として計数してはならない。

8.2.2

取得失敗率

8.2.2.1

取得失敗率は,システムが照合又は識別の入力試行に対して十分な品質のサンプルを取り込めな

いか,探すことができない割合である。取得失敗率には,次のものが含まれる。

−  生体特徴が(例えば,一時的な病気又はけがのため)提示できないか,取り込めない入力試行

−  対象領域抽出又は特徴抽出ができない入力試行

−  抽出した特徴が品質を判定するためのいき(閾)値を満たさない入力試行

注記 1  例えば,マッチングに十分な品質のサンプルを与える入力試行がないトランザクションの割

合を測定するというように,トランザクションに対する取得失敗率を判定することもできる。

注記 2  テクノロジ評価時は,解析は前もって集められたコーパスが基になるため,サンプルキャプ

チャ失敗はないと考えられる。コーパスにおける取得失敗率が,既知の場合もあり得る。さ

らに取得の問題として,例えば,サンプルが特徴抽出のための品質がとても低い場合が,取

得失敗率に加えられるかもしれない。

8.2.2.2

取得失敗率は,

(画像が取り込めない)提示,特徴領域抽出,特徴抽出,又は品質評価での失敗

のために完了できなかった,記録された本人の入力試行(及び場合によっては,可能なすべての意図的で

ないオンライン偽者入力試行)の割合(又は重み付けされた割合)として推定しなければならない。

8.2.2.3

取得失敗率は,サンプル取得のために認められた所要時間又は認められた提示回数はもちろん,

サンプル品質に対するいき(閾)値にも依存する。これらの設定は,測定された取得失敗率と一緒に報告

しなければならない。

注記  サンプル取得の品質いき(閾)値を厳しくすることで,取得失敗率は増加すると考えられるが,

一方でマッチング性能は改善すると考えられる。

8.2.2.4

原サンプルが収集されないか,品質いき(閾)値を満たさなかった入力試行は,マッチングアル

ゴリズムによって処理されないので,照合得点を求めることはない。そのような取得失敗は,誤合致率及

び誤非合致率の計算では除外しなければならないが,誤受入率及び誤拒否率の計算には入れなければなら

ない。取得失敗率,誤合致率及び誤非合致率は,同じ品質受入れいき(閾)値設定で計算しなければなら

ない。

8.2.3

誤非合致率

8.2.3.1

誤非合致率は,本人の入力試行から収集したサンプルのうち,同一利用者からの同一特徴のテン

プレートに合致しないと誤判定されたものの割合である。


32

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

8.2.3.2

誤非合致率は,出てきたその照合得点がマッチング判定いき(閾)値より低い,比較サブシステ

ムを通して記録された本人の入力試行の割合(又は重み付けされた割合)で推定しなければならない。

8.2.3.3

誤非合致率は,マッチング判定いき(閾)値に依存するので,同じいき(閾)値で観測された誤

合致率と一緒に記述[又は,ROC 曲線若しくは DET 曲線に同じいき(閾)値での誤合致率と対比させて

記入]しなければならない。

8.2.3.4

被験者が複数の入力試行を行った評価においては,誤非合致率が被験者集団全体の中でどのよう

に変化するかを示すことは有用である。このことは,被験者それぞれの入力試行の誤り率を計算し,被験

者ごとの誤り率を示す度数分布(ヒストグラム)を,被験者の誤り率の昇順にプロットすることによって

行われてもよい。

8.2.4

誤合致率

8.2.4.1

誤合致率は,意図的でない偽者入力試行で収集したサンプルのうち,比較した非自己テンプレー

トに合致していると誤って判定されたサンプルの割合である。

注記  意図的でない偽者入力試行では,個人が,まるで自身のテンプレートに対して照合成功を期待

した入力試行のように,生体特徴を提示する。動的署名照合の場合には,例えば,偽者は意図

的でない入力試行として,自身の署名をサインするかもしれない。このような,要求されたバ

イオメトリックの様子を偽者が容易にまねることが可能なモダリティについては,意図的でな

い偽者入力試行を意図的な偽者入力試行の特別な場合であると仮定した,第 2 の偽者評価尺度

が必要となる場合があり得る。しかしながら,意図的な偽者入力試行に使われる技術の方法及

び水準の定義は,この規格の適用範囲外とする(この規格群の

第 部の附属書 JA に示す。)。

8.2.4.2

誤合致率は,比較サブシステムに送られ記録された,意図的でない偽者入力試行のうち,得られ

た照合得点がマッチング判定いき(閾)値以上であったものの割合(又は重み付けされた割合)として推

定しなければならない。

8.2.4.3

誤合致率は,マッチング判定いき(閾)値に依存するので,同じいき(閾)値で観測された誤非

合致率と一緒に記述[又は,ROC 曲線若しくは DET 曲線に同じいき(閾)値での誤非合致率と対比させ

て記入]しなければならない。

8.2.4.4

被験者が生体情報登録されていて,そのテンプレートがシステム内の他人のテンプレートに影響

を与える場合,又はマッチングアルゴリズムがこの(及びその他の)テンプレートを使って自己修正する

場合,その被験者を用いた偽者による入力試行は,偏ったものになるので,誤合致率の推定に使用しない

ほうがよい。7.6.2.6 及び 7.6.3.2 は,このような場合の対処法について示している。

例  基底画像を生成するためにすべての登録画像を使う固有顔システム(eigenface system),及びコホー

トベース(cohort-based)の話者認証システムは,個人のテンプレートが他人の情報に影響する例で

ある。

8.2.4.5

遺伝子的に同じ生体特徴(例えば,ある人物の人差し指と中指,又は一卵性双生児)の比較は,

遺伝子的に異なる生体特徴の比較と違ったスコア分布をもたらす[25][27]。したがって,そのような遺伝

子的相似物の生体特徴の比較は,誤合致率を導き出す場合には排除しなければならない。

8.2.4.6

対象者一人につき,又はテンプレート 1 個につき,幾つかの偽者によるトランザクションがある

評価においては,誤合致率が被験者全体の中で又は登録されたテンプレート全体の中でどのように変化す

るかを示すことは有用である。このためには,対象者ごとの偽者による入力試行,及びテンプレートごと

に比べた偽者による入力試行に対する個々の誤合致率を計算する必要がある。被験者ごとの誤り率を示す

ために,被験者の度数分布(ヒストグラム)を誤り率の昇順に記入してもよい。


33

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

例  顔認証システムにおいては,誤合致が主に起こる“ゴールデンフェイス”と呼ばれる顔の集合が

発見されることがある。被験者間の誤り率のばらつきを示すヒストグラムは,このぜい(脆)弱

性を明らかにする。

8.3

照合システム性能評価尺度

8.3.1

一般的な事項

複数の入力試行のトランザクションに対する誤受入率と誤拒否率との一次推定値は,DET 曲線から導き

出すことができる。しかしながら,そのような推定値は,逐次入力試行間の相関関係及び同じ利用者が関

係している比較同士の相関関係を考慮することができないので,

非常に不正確なはずである。

したがって,

これらの性能評価尺度は,判定方針によって規定されているように,複数の入力試行による試験トランザ

クションを使って,直接導き出さなければならない。

8.3.2

誤拒否率

8.3.2.1

誤拒否率は,誤って拒否される本人照合トランザクションの割合である。1 回のトランザクショ

ンは,判定方針次第で 1 回以上の本人の入力試行から構成されてもよい。

8.3.2.2

誤拒否率は,誤って拒否され記録された本人トランザクションの割合(又は重み付けされた割合)

として推定しなければならない。この中には,マッチング誤りのために拒否されたトランザクションだけ

でなく,取得失敗のために拒否されたものも含まれる。

例  照合トランザクションが 1 回の入力試行から構成される場合には,取得失敗及び誤非合致が誤拒

否を引き起こす。誤拒否率は,次のように与えられる。

(

)

FTA

1

FNMR

FTA

FRR

×

+

=

ここに, FRR:

誤拒否率

FTA: 取得失敗率

FNMR: 誤非合致率

8.3.2.3

誤拒否率は,判定方針,マッチング判定いき(閾)値,及びすべてのサンプル品質いき(閾)値

に依存する。誤拒否率は,同じ値での推定した誤受入率と一緒に,これらの詳細をつけて報告[又は ROC

曲線若しくは DET 曲線に同じいき(閾)値での誤受入率と対比させて記入]しなければならない。

8.3.3

誤受入率

8.3.3.1

誤受入率は,誤って受け入れられる,意図的でない偽者トランザクションの期待比率である。1

回のトランザクションは,判定方針次第で 1 回以上の意図的でない偽者入力試行から構成されてもよい。

8.3.3.2

誤受入率は,記録された意図的でない偽者トランザクションのうち,誤って受け入れたものの割

合(又は重み付けされた割合)として推定しなければならない。

例  照合トランザクションが 1 回の入力試行から構成される場合には,誤受入は提示されたサンプル

が品質評価によって拒否されないこと(すなわち,取得失敗なし)と,誤合致であることとを必

要とする。誤受入率は,次のように与えられる。

(

)

FTA

1

FMR

FAR

×

=

ここに, FAR:

誤受入率

FMR: 誤合致率

FTA: 取得失敗率

8.3.3.3

誤受入率は,判定方針,マッチング判定いき(閾)値,及びすべてのサンプル品質いき(閾)値

に依存する。誤受入率は,同じ値での推定した誤拒否率と一緒に,これらの詳細をつけて報告[又は ROC

曲線若しくは DET 曲線に同じいき(閾)値での誤拒否率と対比させて記入]しなければならない。


34

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

8.3.4

一般化誤拒否率及び一般化誤受入率

異なる生体情報登録失敗率をもったシステムの比較には,生体情報登録誤り,サンプル取得誤り及びマ

ッチング誤りを合算した,一般化誤拒否率と一般化誤受入率との使用が必要になる可能性がある。一般化

の方法は,評価に適したものが望ましい。典型的な一般化は,生体情報登録失敗を,生体情報登録は完了

するが,その生体情報登録者又はそのテンプレートに対する,その後のすべての照合又は識別トランザク

ションが失敗するように扱うことである。一般化の方法は,同時に報告されなければならない。

例 1  生体情報登録が不成功になった被験者がその後の評価に関与しないシナリオ評価で,各照合ト

ランザクションが 1 回の入力試行から構成されることを想定する。(i)  偽者入力試行をする被験

者とまねされた被験者との両方が生体情報登録され,(ii)  提示されたサンプルが品質評価によ

って拒否されず(すなわち,取得失敗なし)

,(iii)  誤合致がある場合に,一般化誤受入は起こる。

(i)  被験者が生体情報登録していない場合,(ii)  提示されたサンプルが取得できなかった場合,

又は(iii)  誤非合致がある場合,一般化誤拒否は起こる。一般化誤受入率及び一般化誤拒否率は,

次のように与えられる。

(

) (

)

2

FTE

1

FTA

1

FMR

GFAR

×

×

=

(

)

(

) (

)

FNMR

FTA

1

FTE

1

FTA

FTE

1

FTE

GFRR

×

×

+

×

+

=

ここに,

 GFAR

一般化誤受入率

GFRR

一般化誤拒否率

FMR

誤合致率

FNMR

誤非合致率

FTE

生体情報登録失敗率

FTA

取得失敗率

例 2

テクノロジ評価では,生体情報登録テンプレートは,生体情報登録失敗を起こさないすべての

登録用入力から生成され,かつ,入力試行特徴は,取得失敗しないすべての試験用入力から生

成される。この場合,一般化誤受入率及び一般化誤拒否率は,次のように与えられる。

(

) (

)

FTE

1

FTA

1

FMR

GFAR

×

×

=

(

)

(

) (

)

FNMR

FTA

1

FTE

1

FTA

FTE

1

FTE

GFRR

×

×

+

×

+

=

8.4

登録者非限定)識別システム性能評価尺度

8.4.1

一般的な事項

登録者限定システムの(本人)識別率の一次推定値,及び登録者非限定システムの誤受入識別率及び誤

拒否識別率の一次推定値は,マッチング誤り

DET

曲線から導き出すことができる。しかしながら,そのよ

うな推定値は,同じ利用者に関する比較において相関関係を考慮することができないので,非常に不正確

なはずである。したがって,少なくとも小規模のデータベースについては,識別トランザクションは,こ

れらの性能評価尺度を直接導き出すように収集するのが望ましい。

(試験の規模を超える)

大規模識別シス

テムの性能推定値は,一次推定値と小規模データベースの識別性能との両方を使って,外挿してもよい。

そのような場合は,性能推定の外挿に用いたモデルを報告するのが望ましい。

テストデータによって観測された識別誤り率によって正当性が確認されることを条件として,N

個のデータベースに対し,一つのバイオメトリックサンプルを使った識別性能は,次の式で近似

できる。

(

)

FNMR

FTA

1

FTA

FNIR

×

+

=

(

)

(

)

[

]

N

FMR

1

1

FTA

1

FPIR

×

=

ここに, FPIR:

誤受入識別率


35

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

 FNIR: 誤拒否識別率 
 FTA: 取得失敗率 
 FMR: 誤合致率 
 FNMR: 誤非合致率 

N: データベース内のテンプレート数

注記  予備選択を行う識別システムの場合は,上記の性能評価モデルは照合候補予備選定アルゴリズ

ムの性能評価尺度を用いて拡張することができる(

附属書 を参照)。

8.4.2

識別率

順位 r の本人識別率とは,システムに登録された利用者の中から r 位以内に利用者が正しく同定されて

いる割合である。

一点識別順位を報告するときは,

データベースの規模と合わせて報告するのが望ましい。

例  “250 人登録があるデータベースに対する,1 位識別率は 95 %である。”との報告があった。

8.4.3

誤拒否識別率及び誤受入識別率

8.4.3.1

誤拒否識別率は,システムに生体情報登録された利用者による識別トランザクションのうち,返

ってきた候補リストに利用者の正しい身元情報が載っていないものの割合である。

8.4.3.2

誤受入識別率は,

システムに生体情報登録していない利用者による識別トランザクションのうち,

空白でない候補身元情報のリストが返ってきたものの割合である。

注記  誤受入識別率は,システムの生体情報登録者の数によって増加する。

8.4.3.3

登録者非限定識別性能は,ある一定のデータベース規模,及びある一定の出力身元数に対する

ROC 曲線(識別率と誤受入識別率とを対比させた曲線を描く。)として,又は DET 曲線(誤拒否識別率と

誤受入識別率とを対比させた曲線を描く。

)として,記入することもできる。

注記  データベースサイズが 1 の場合,それらの曲線は,(1 対 1 の)照合性能を表す。

8.4.3.4

生体情報登録データベース増加に伴う,登録者非限定システムの識別性能を総合的に表すために,

誤受入識別率を一定に保った状態で,生体情報登録データベースの規模に対する(順位 1 での)識別率の

グラフを示してもよい[ただし,誤受入識別率を一定に保つには,データベースの増加につれていき(閾)

値を調整する必要がある。

。代わりに,

図 E.1 に示した例にあるように,異なるデータベース規模に対し

て,誤受入識別率と誤拒否識別率との間の関係を示した DET 曲線で表示してもよい。

8.5

登録者限定識別

8.5.1

順位 r における識別率は,システムに生体情報登録した利用者によるトランザクションが,返って

きた上位 r の合致の中にその利用者の本当の身元情報を含んでいる確率である。一点識別順位を報告する

ときはデータベース規模を同時に報告することが望ましい。

例  “250 人登録があるデータベースに対する,1 位識別率は 95 %である。”との報告があった。

8.5.2

登録者限定識別性能の基本的な測定は,通常,CMC 曲線(累積識別精度特性曲線)で表される。

CMC 曲線には,順位 r における(本人)識別率が r の関数として記入されている。

注記 CMC 曲線上のデータ点を効率的に生成するための提案アルゴリズムは,附属書 に示す。

8.5.3 CMC

の欠点は,システムに生体情報登録されている人数への依存性である。このため,順位 1 に

おける識別率を生体情報登録者数の関数として記入した図表を,結果と一緒に付けるのが望ましい。

8.6

検出エラートレードオフ(DET)曲線及び照合精度特性(ROC)曲線

8.6.1

誤り率を両軸(第 1 種の誤りを x 軸,第 2 種の誤りを y 軸)にプロットする DET 曲線(検出エラ

ートレードオフ曲線)は,単一の特徴入力試行と単一の生体情報登録テンプレートとの間の比較からの本

人照合得点と偽者照合得点とを使って作らなければならない。

各入力試行は,

照合得点として記録される。

本人入力試行に対し作成されるスコアは,順序を付ける。偽者スコアも同様に処理する。外れ値は,ラベ


36

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

ル付け誤りであるか否かを判定するために調べる方がよい。試験から除外されたどんなスコアもすべて文

書化しておくのが望ましい。試験から除外されたどんなスコアもすべて文書化しておき,外部からの検討

の機会を与えることが望ましい。

注記  本人スコア及び偽者スコアの両方のヒストグラムは有益であるが,DET 曲線の作成には使えな

い。したがって,この規格では,トランザクションデータからヒストグラムを生成することは

推奨しない。しかし,これは,研究的興味を持続させるとても重要な領域である。結果として

生じたヒストグラムは,本人の分布及び偽者の分布の最善の測定にそのままなる可能性もある。

いかなる状態でもモデルは基礎分布から測定されたいずれのヒストグラムでも置き換えること

はできない。

8.6.2 DET

曲線[又は,判定いき(閾)値を媒介変数として,x 軸に第 2 種の誤り率を,y 軸に 1 から,

対応する第 1 種の誤り率を引いたものをプロットする ROC 曲線]は,順序付けした本人スコアと偽者ス

コアとの累積値を用いて設定される。スコアは可能性のあるすべての値にわたって変動するので,DET 曲

線(又は ROC 曲線)は,各点 (x,y)  がそのスコアを判定いき(閾)値として用いた誤合致率と誤非合致

率とを表している媒介変数曲線として描かれる。誤合致率は,現在のいき(閾)値以上の偽者照合得点が

発生する割合で,誤非合致率は,現在のいき(閾)値未満の本人照合得点が発生する割合である。これら

の曲線は,誤合致率を横軸(x 軸)に,誤非合致率を縦軸(y 軸)に記入するのが望ましい。誤り率を表現

する軸は,対数目盛を使ってもよい。

注記 DET 曲線及び ROC 曲線上のデータ点を効果的に得るための手順は,附属書 に示す。

8.6.3 DET

曲線(又は ROC 曲線)は,また,誤受入率と誤拒否率との間の関係を曲線の形で表示する。

誤受入率と誤拒否率とは,判定方針に依存する形で,誤合致率,誤非合致率及び取得失敗率に依存する。

複数の入力試行のトランザクションは,構成入力試行の照合得点(例えば,3 回の試みの中の最善のもの

という判定方針で照合得点の最大値)に基づいて新しいトランザクションスコアを生成することが必要に

なることもある。DET 曲線(又は ROC 曲線)は,同じく識別誤り率間の関係を示すために使用してもよ

い。

8.7

推定値の不確実性

8.7.1

性能の推定値は,系統誤差及び偶然誤差の両方の影響を含む。偶然誤差には,被験者及びサンプル

提示の自然な変化に帰すべきものが含まれる。系統誤差には,試験手順の偏り,例えば,被験者集団の中

にある種の個人の代表者が少ないような場合に帰すべきものが含まれる。いずれの型の誤りも完全には定

量化できないので,性能評価の結果に不確実性が存在することになる。しかし,測定した性能の不確実性

は,推定しなければならない。性能評価結果の不確実性を推定するための幾つかの方法を,

附属書 に示

す。

8.7.2

確率的な事象の影響による不確実性は,試験規模が大きくなるにつれて小さくなり,収集したデー

タから推定できる場合が多い。幾つかの系統誤差の影響を判定することも不可能ではなくなる。例えば,

被験者集団の中に代表者が不当に少ない個人の部類があることが判明しても,その部類の誤り率が全体の

誤り率と一致しているならば,適正に均衡の取れた被験者集団を選定し直して再試験する必要はないとい

うことが分かるはずである。

測定した誤り率が小さな環境変化に過度に敏感でないことを確かめるために,

性能評価試験の一部は,異なる環境条件で繰り返してもよい。

9

記録管理

9.1

評価がこの規格に従って実施されたか否かを査定するために,記録方法は,JIS Q 17025 の要求事項


37

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

に従っていなければならない。記録には,次のものが含まれる。

a)

データ容量が非現実的でなければ,原サンプル画像(収集される場合)

b)

サンプル画像が収集されない場合は,生体情報登録ごとのテンプレート(入手可能な場合,照合又は

識別入力試行ごとの特徴データも蓄積するのが望ましい。

c)

入手可能な場合,バイオメトリックシステムによる照合得点及び判定出力

d)

性能評価尺度及び不確実性を導き出すために用いた方法

e)

生体情報登録を実施すること及びトランザクションデータの収集を監督することに責任を負う職員の

身元

f)

監査証跡とするのに十分な情報

9.2

十分な情報を,次のような目的で保管しておかなければならない。

a)

元の状態にできるだけ近い状態で評価を繰り返すことができるようにするため

b)

できれば,結果の不確実性に影響を与える要因の識別を容易にするため

9.3

(書面又は電子記録を問わず)記録は,原試験データの損失又は変更を回避するように保護しなけ

ればならない。更新が必要とされる場合には,更新に関する注記を添えて原版の複写を維持しなければな

らない。

9.4

(データ収集手順などに)間違いが起きた場合,記録は,元の誤ったデータ及び修正した値の両方

を示すのが望ましい。

10

性能評価結果の報告

10.1

基本的な尺度

次の基本性能評価尺度は,すべてのバイオメトリックシステムに適用できるので,入手できれば報告す

るのが望ましい。

a)

生体情報登録失敗率

b)

取得失敗率

c)

誤合致率及び対応する誤非合致率[可能な場合,いき(閾)値変動範囲全体にわたって]

d)

必要に応じて,個々の誤り率が対象者間でどのように変化するかを示したヒストグラム

10.2

照合システム尺度

照合システム性能は,次の尺度を用いて報告しなければならない。

a)

可能な場合,生体情報登録失敗率,そうでなければ,生体情報登録失敗率は不明であるという報告を

添付しなければならない。

b)

可能な場合,取得失敗率,そうでなければ,取得失敗率は不明であるという報告を添付しなければな

らない。

c)

誤受入率及び対応する誤拒否率[可能な場合,いき(閾)値変動範囲全体にわたって]

d)

必要に応じて,一般化の方法の詳細と一緒に,一般化した誤受入率及び対応する一般化した誤拒否率

[可能な場合,いき(閾)値変動範囲全体にわたって]

e)

必要に応じて,個々の誤り率が対象者間でどのように変化するかを示したヒストグラム

10.3

識別システム尺度

登録者非限定識別システム性能は,次の尺度を用いて報告しなければならない。

a)

可能な場合,生体情報登録失敗率,そうでなければ,生体情報登録失敗率は不明であるという報告を

添付しなければならない。


38

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

b)

可能な場合,取得失敗率,そうでなければ,取得失敗率は不明であるという報告を添付しなければな

らない。

c)

誤受入識別率,及び対応する誤拒否識別率[可能な場合,いき(閾)値変動範囲全体にわたって]

d)

データベース規模

e)

テンプレートデータベースの異なる規模,返ってきた異なる身元情報数などに対応した,幾つかの

DET 曲線又は ROC 曲線を示してもよい。

f)

必要に応じて,個々の誤り率が対象者間でどのように変化するかを示したヒストグラム

10.4

登録者限定識別システム尺度

登録者限定識別システム性能は,次の尺度を用いて報告しなければならない。

a)

累積識別精度特性曲線(CMC 曲線)

b)

データベース規模

10.5

試験詳細の報告

DET 曲線,生体情報登録失敗率・取得失敗率,並びにデータベース分割法絞込み率及び誤り率の性能記

述は,試験形式,アプリケーション及び母集団に依存している。これらの尺度を正確に解釈するためには,

次の追加情報を提供するのが望ましい。

a)

試験したシステムの詳細。バイオメトリック構成要素だけでなく,利用者インタフェースのような性

能評価に影響を及ぼす要因も含めるのが望ましい。

b)

評価形式

−  テクノロジ評価:使用したコーパスの詳細

−  シナリオ評価:試験シナリオの詳細

−  運用評価:運用アプリケーションの詳細

c)

評価の規模

−  被験者数

−  各被験者が登録する指,手,目などの数

−  被験者が行う訪問の回数

−  各訪問時の被験者(又は被験者の指など)ごとのトランザクション数

d)

被験者集団の人口統計(年齢,性別など)

e)

試験環境の詳細

f)

生体情報登録から試験トランザクションまでの時間経過

g)

データ収集中に用いた品質・判定いき(閾)値

h)

性能に影響を与える可能性のある要因をどのように制御したかの詳細(

附属書 参照)

i)

試験手順の詳細,例えば,生体情報登録失敗の判定方針

j)

被験者集団のシステム使用上の訓練・精通・習熟水準の詳細

k)

分析から除外した異常な事例及びデータの詳細

l)

不確実性推定値(及び推定方法)

m)

この規格の指針からの逸脱事項も説明したほうがよい。別の側面を達成するために一方の側面を妥協

しなければならないことがときにはある。例えば,指紋装置で使用する指の順序を無作為化すれば,

利用者を混乱させ,ラベル付け誤りの数が増える。


39

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

10.6

結果のグラフ表示

10.6.1

一般的な事項

10.6.1.1

バイオメトリックシステムの判定いき(閾)値変動範囲全体にわたるマッチング及び/又は判定

の性能は,ROC 曲線と DET 曲線との両方ではなくいずれか一方を使って,図表で表すのが望ましい。

10.6.1.2

軸の目盛(最小値・最大値を表示,及び対数目盛の使用)は,表示した結果が明快になるように

選択するのが望ましく,また,同じ報告書内の異なる図表間で一貫しているのが望ましい。明快さを維持

するために尺度を変える必要がある場合は,尺度変更に関して述べた注記を図に付けるのが望ましい。

10.6.1.3

異なるシステムの性能を比較するためには,マッチング誤り,画像取得誤り,データベース分割

法誤り及び生体情報登録誤りの合算効果を表した,判定誤り DET 又は ROC(誤拒否率対誤受入率)の方

が,基本誤り率を示した図表よりも役に立つと思われる。

10.6.2  DET

曲線

10.6.2.1  3

種の検出エラートレードオフ曲線(DET 曲線)があり,マッチング誤り率トレードオフ(誤合

致率と誤非合致率とのトレードオフ)

判定誤り率トレードオフ

(誤受入率と誤拒否率とのトレードオフ)

登録者非限定識別誤り率トレードオフ(誤受入識別率と誤拒否識別率とのトレードオフ)を曲線の形で表

示する。

10.6.2.2

明快さを向上させるための図表の拡大に役立つように,対数目盛を使用してもよい。対数図表の

場合は,回の試験で観測されるゼロ誤りの誤り率は,0.5/値として,又はそれよりも大きい場合は,目

盛最小値として曲線を描いてもよい。

注記  これらの DET 曲線は,図 の ROC 曲線と同じデータをプロットしたものである。

図 3DET 曲線の例

  0.001 %

0.01 %

0.1 %

1 %

10 %

100 %

誤合致率

100 %

 
 
 
 

10 %

 
 
 
 

1 %

 
 
 
 

0.1 %

誤非合致

システム A
システム B
システム C
システム D
システム E
システム F


40

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

10.6.3  ROC

曲線

10.6.3.1 ROC

曲線は,不完全な診断システム,検出システム,パターンマッチングシステムの性能を要約

するための伝統的な方法である。ROC 曲線は,いき(閾)値が媒介変数でしかないので,異なるシステム

の類似の条件下での性能比較,又は単一システムの異なる条件下での性能比較を可能にする。ROC 曲線は,

マッチングアルゴリズムの性能(

“誤合致率”対“1−誤非合致率”

,包括的照合システムの性能(

“誤受入

率”対“1−誤拒否率”

)だけでなく,登録者非限定識別システムの性能(

“誤受入識別率”対“1−誤拒否

識別率”

)を曲線として描くために使用してもよい。

10.6.3.2  x

軸に対数目盛を使い,プロット点を分散させて,明快さを向上させてもよい。対数図表の場合,

回の試験でゼロ個の誤りが観測されたときの誤り率の対数は負の無限大になってしまうので,代わりに

0.5/値としてプロットしてもよい。0.5/でも目盛を外れるときには,目盛最小値でプロットしてもよい。

注記  これらの ROC 曲線は,図 の DET 曲線と同じデータをプロットしたものである。

図 4ROC 曲線の例

10.6.4  CMC

曲線

登録者限定識別アプリケーションについては,性能評価結果は,CMC 曲線(累積識別精度特性曲線)を

使って図示されることが多い。その曲線は,返ってきた身元情報の上位 番目までの中に,被験者本人の

身元情報が含まれているトランザクションの割合を,の関数として曲線に描いたものである。

100 %

90 %

80 %

70 %

60 %

50 %

40 %

30 %

20 %

10 %

0 %

識別

1−誤非合致率

システム A
システム B
システム C
システム D
システム E
システム F

  0.001 %

0.01 %

0.1 %

1 %

10 %

100 %

誤受入識別率(誤合致率)


41

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

注記  この例は,FRVT2002[11],図 10)が基になっている。グラフは 37 437 個の顔テンプレートのデータベー

スに対する識別率を示している。

図 5CMC 曲線の例

1.0

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0.0

識別率

システム 1 
システム 2 
システム 3 
システム 4 
システム 5 
システム 6 
システム 7 
システム 8

  1

10

100

1 000

10 000

37 437

順位


42

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

附属書 A

参考)

評価種別による違い

表 A.1

テクノロジ

シナリオ

運用

評価対象

バイオメトリック要素(照合又
は抽出アルゴリズム)

バイオメトリックシステム

バイオメトリックシステム

(正誤判定に用いる) 
正解

既知,データ収集エラー被験者
及び併合データセットの分割

既知,データ収集エラー被
験者及び試験者による不要
な被験者振る舞いに気付き

拒否。

データが本人のものか偽者
のものかを立証するために
利用可能な管理及び器具類

による。

試験運用責任者による

利用者振る舞い制御

試験中は適用外。バイオメトリ

ックデータ記録時には管理さ
れているか,又は非管理である
ことが考慮されている。

管理されている(利用者振

る舞いが変数でなければ)

非管理

入力試行結果のリアル
タイムフィードバック

なし

あり

あり

結果の再現性

再現性あり(同一コーパスの場
合)

擬似的な再現性あり(試験
シナリオ及び管理された集

団)

再現性なし。

物理環境の管理

バイオメトリックデータ記録
時には管理されているか,又は

非管理であることが考慮され
ている。

管理若しくは記録又は両方
なされている。

管理されていない。記録さ
れることが望ましい。

利用者相互作用の記録

試験中は適用外。バイオメトリ
ックデータ記録時には記録さ
れている。

記録されている。

登 録 時 に は 記 録 さ れ て い
る。照合又は識別時には記
録される場合もある。

典型的な報告結果

バイオメトリックコンポーネ
ント又はコンポーネント版数

の比較(例,照合,抽出アルゴ
リズム又はセンサ),重要な性
能要素の結果。

バイオメトリックシステム
の比較,重要な性能要素の

結果,シミュレート性能測
定。

運用環境での性能測定

典型的な尺度

ほとんどの性能尺度(全体スル
ープット以外),ほとんどの誤

り率,多くの被験者集団を集め
るのが困難な大規模な識別シ
ステム性能評価に有効。

予測スループット,FMR,
FNMR,FTA,FTE,FAR,
FRR。

スループット,信頼性のあ
る運用時の FAR 及び FRR

の試験(正誤判定に用いる)
は,正解についての何らか
の知識が必要。

制約事項

適切な試験コーパス,例,一つ
以上のセンサを使って集めら
れている,その本人性は既知か

又は未知か。

運用可能な機器を備えたシ
ステム。

運用可能な機器を備えたシ
ステム,典型的には判定率
だけ有効。

試験集団

記録されている。

実操作

実操作

注記  ある事例では,この表中の事項に対する例外があるかもしれないが,ここでは主流なもの,基本的な特性及び

区別を示す。


43

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

附属書 B

参考)

試験規模及び不確実性

B.1

互いに独立で同一の分布に従う比較を仮定した信頼区間及び試験規模

B.1.1

3

の法則

3 の法則[22][28][30]は,“互いに独立で同一の分布に従う,与えられた数 の比較に対して統計的に

立証可能な最低の誤り率は幾つか”という問いに答える。この値は,回の試行で全く偶然に誤りがゼロ

である確率が,

(例えば)5 %になる誤り率 である。このことは 95 %の信頼水準に対して,

N

p

/

3

を与える。

例  誤りを返さない 300 の独立したサンプルからなる試験では,95 %の信頼で 1 %以下の誤り率であ

るということができる。

注記 1 90

%の信頼水準に対しては,p ≈ 2/である。

注記 2  もし本人入力試行ごとに異なった利用者を用い,かつ,すべての偽者入力試行において同一

の 利用者が 2 回 以上 出現 し ないな らば, 互いに独 立で同一の分布に従う (independent

identically distributed, i.i.d.)  入力試行の仮定が,成り立つといってもよい。人の被験者では,
回の本人入力試行及び n/2 回の偽者入力試行が存在する。しかしながら,すべての提示され

たサンプル特徴及び生体情報登録テンプレートの間での相互比較は,はるかに多くの偽者入

力試行を作り出し,[24]によれば,入力試行間の従属関係にもかかわらず,より小さな不確

実性を得る。それゆえ,おそらく運用試験の場合を除いて,i.i.d.の仮定を得るために利用者

ごとに 1 回の入力試行に制限したデータに,利点はほとんど存在しない。

B.1.2

30

の法則

30 の法則は,次のことを表す。真の誤り率が観測された誤り率の±30 %以内にあることが 90 %の信頼

であるためには,少なくとも 30 の誤りがあるはずである[13]。したがって,例えば 3 000 の独立した本人

試行中に 30 の誤非合致誤りがあった場合,90 %の信頼で,真の誤り率が 0.7 %と 1.3 %との間に存在する

ということが可能である。法則は,独立試行を仮定した二項分布から直接導かれ,評価のための性能予測

を検討することに適用される。

例  性能目標が誤非合致率 1 %及び誤合致率 0.1 %である場合を考える。この法則は,3 000 本人入力

試行及び 30 000 偽者入力試行を示唆する。このとき,これらの試行が独立であるという重要な仮

定に注意する。このことは,3 000 人の生体情報登録者及び 30 000 人の偽者を必要とする。代替

案は,被験者のより小さい集合を再利用することによって独立性には妥協して,統計的有意性の

損失を覚悟することである。

注記  法則は,異なった比率の誤り範囲に対しても一般化される。例えば,真の誤り率が観測された

誤り率の±10 %以内にあることが 90 %の信頼であるためには,少なくとも 260 の誤りが必要と

される。真の誤り率が観測された誤り率の±50 %以内にあることが 90 %の信頼であるためには,

少なくとも 11 の誤りが必要とされる。

B.1.3

主張される誤り率を保証するための比較数

B.1.3.1

主張される誤り率を保証するために必要とされる統計的に独立な比較数を,

図 B.1 に示す。例え


44

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

ば,回の独立した偽者比較において誤合致がないことは,3/と主張される誤合致率を 95 %の信頼で保

証し,一方,30 の誤りは 41/の誤合致率であるという主張を保証する。

0/N

10/N

20/N

30/N

40/N

0/N

5/N

10/N

15/N

20/N

25/N

30/N

Error Rate Observed in N Independent Comparisons

E

rror R

a

te C

laimed

Claim supported

Claim not supported

Claim rejected

注記  主張される誤り率が 1 %以下ならば,この図は合理的な近似を与える。

図 B.1独立比較による誤り率主張の採択(又は棄却)に対する 95 %信頼決定区間

B.1.3.2

総計的に独立であることを保証するために,すべての比較における偽者及び偽装の対象となった

テンプレートは,別のものであり,かつ,対象母集団から無作為及び一様に選択される必要がある。この

方法は,回の独立な比較に対して 2人のボランティアが必要であることから,低い誤合致率に対して

効率的でない。

B.1.3.3

統計的に独立であることを保証できないが,代替となる相互比較法が,しばしば採用される。P

人に対して,それぞれの(非順序)対に対する入力試行とテンプレートとの相互比較は,低い相関度を示

すこともある。これらの P(P−1)/2 回の誤合致入力試行の相関関係は,同じ数の完全に独立な比較と比べ

て,FMR の主張を保証する信頼水準を引き下げる。

B.2

試験規模の関数としての性能評価尺度の分散

試験規模が大きくなるにつれて,推定値の分散は減るが,その程度は変動の原因に依存する。

a)

被験者それぞれが,複数の本人入力試行を行う場合,観測される誤非合致率の分散は,次に起因する

成分をもつ。

−  被験者の変動。1/(被験者数)と同程度。

−  前の項で説明できない本人入力試行の変動。1/(入力試行数)と同程度。

b)

被験者が複数の入力試行を行い,利用者の別の集合からの生体情報登録テンプレートに対するこれら

の本人入力試行の相互比較によって,偽者入力試行がオフラインで生成される場合,観測される誤合

致率の分散は,次に起因する成分をもつ。

 40/N 
 
 
 
 30/N 
 
 
 
 20/N 
 
 
 
 10/N 
 
 
 
 0/N

主張される誤り率

 0/N 5/N 10/N 15/N 20/N 25/N 30/N

独立比較による観測された誤り率

支持域

非支持域

棄却域


45

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

−  被験者の変動。1/(偽者被験者数)のスケール。

−  偽装の対象となったテンプレートの変動。1/(偽装の対象となったテンプレート数)のスケール。

−  (被験者の変動によって説明されるもの以外の)本人サンプルの変動。1/(本人入力試行数)のスケ

ール。

−  生成された偽者入力試行の残差変動。1/(偽者入力試行数)のスケール。

注記  ドジントンその他[16]は,バイオメトリックシステムには“goats(ヤギ)”,“lambs(子羊)”,

及び“wolves(狼)

”がいる可能性があることを示している。goats(ヤギ)は,母集団全体のも

のよりも著しく高い個別の誤非合致率をもち,lambs(子羊)は,誤合致の不均衡な配分を被る

テンプレートをもつ者であり,一方 wolves(狼)は,誤合致を与えることに特に成功するサン

プルをもつ者である。このことは,次のことを意味する。誤非合致率に対しては,被験者の分

散成分がゼロでなく,

誤合致率に対しては,被験者及びテンプレートの分散成分がゼロでない。

B.3

性能評価尺度の分散の推定

B.3.1

一般的な事項

ここでは,性能評価尺度の分散を推定する式と方法とが与えられる。分散は,不確実性の統計的尺度で

あり,信頼区間などを推定する場合に使用できる。これらの式の適用性は,マッチング誤りの分布につい

ての次の仮定に依存する。

−  被験者集団は,対象母集団を代表している。これは,例えば被験者が,対象母集団から無作為に抽

出された場合である。

−  異なった被験者による入力試行は,独立している。このことは,常に正しいとは限らない。利用者

の行動は,他の人が何をするかを見ることによって影響される。しかしながら,被験者間の相関関

係は,一人の被験者による一連の入力試行における相関関係と比べて,軽微であることが多い。

−  入力試行は,いき(閾)値から独立している。そうでなければ,データ収集に使われたいき(閾)

値以外では,誤り率に対する推定に偏りが生じる可能性がある。

−  誤り率は,母集団内部で変化する。異なった被験者は,異なった個々の誤非合致率をもち,異なっ

た被験者のペアは,異なった個々の誤合致率をもち得る。

−  観測された誤りの数が,小さすぎない。観測された誤りが一つもない場合には,式はゼロ分散を与

えるが,このときには 3 の法則を適用して正当性の検証を行う。

B.3.2

観測された誤非合致率の分散

B.3.2.1

誤非合致率−被験者一人につき 回の入力試行

被験者それぞれが,1 回の入力試行を行う場合

=

=

n

i

i

a

n

p

1

1

ˆ

(B.1)

( )

1

)

ˆ

1

(

ˆ

ˆ

ˆ

=

n

p

p

p

V

(B.2)

ここに,

n

生体情報登録された被験者数

a

i

i

番目の被験者の誤非合致数

  (

0

1)

ˆ

観測された誤非合致率

( )

p

ˆ

ˆ

観測された誤非合致率の推定分散


46

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

注記 1

この推定法は,標準的な統計学の教科書に記述されている(例,[31]

注記 2

これらの式は,ときに被験者が数回の入力試行を行う場合に対して誤って適用されてきた。

被験者数

n

を入力試行数に置き換えることは,一般的に妥当ではない。

注記 2A

同一の被験者の入力試行には高い相関があり,独立性の仮定が破られる。

注記 3

これらの式は,被験者一人につき

1

回の入力試行があるときの取得失敗率及び生体情報登録

失敗率の分散を推定する場合にも適合する。

B.3.2.2

誤非合致率−被験者一人につき複数回の入力試行

被験者それぞれが,同一の回数で複数入力試行を行う場合,適切な推定は,次の式で与えられる[31]

=

=

n

i

i

a

mn

p

1

1

ˆ

(B.3)

( )

(

)

⎟⎟

⎜⎜

=

=

2

1

2

2

ˆ

1

1

1

ˆ

ˆ

p

a

n

m

n

p

V

n

i

i

(B.4)

ここに,

n

生体情報登録された被験者数

m

被験者それぞれが行った入力試行数

a

i

i

番目の被験者の誤非合致数(=

0

...

m

ˆ

観測された誤非合致率

( )

p

ˆ

ˆ

観測された誤非合致率の推定分散

注記 1

m

1

のとき,推定は式

(B.1)

及び式

(B.2)

と同じになる。

注記 2

これらの式は,被験者一人につき複数回の入力試行があるときの取得失敗率の分散を推定す

る場合にも適合する。

B.3.2.3

誤非合致率−被験者一人当たりの回数が等しくない入力試行

被験者一人当たりの入力試行数が変動するときがある。必要とされる入力試行数を達成できない被験者

がいる場合があり得る。取得失敗も,入力試行が誤非合致率の計算から失われている原因になる可能性が

ある。行われた入力試行数と個々の異なった成功率との間に相関関係がないとき,適切な式は次のように

なる。

=

=

=

n

i

i

n

i

i

m

a

p

1

1

ˆ

(B.5)

( )

2

1

2

2

1

2

1

ˆ

ˆ

2

ˆ

ˆ

⎟⎟

⎜⎜

+

=

=

=

=

=

n

i

i

n

i

n

i

i

i

i

n

i

i

m

n

n

m

p

m

a

p

a

p

V

(B.6)

ここに,

n

生体情報登録された被験者数

m

i

i

番目の被験者が行った入力試行数

a

i

i

番目の被験者の誤非合致数

ˆ

観測された誤非合致率

( )

p

ˆ

ˆ

観測された誤非合致率の推定分散

注記 1

[31]からの)分散に対するこの式は,使いやすい形式を与える近似式である。

注記 2

すべての

m

i

が等しいときには,式

(B.3)

及び式

(B.4)

と同じ推定が得られる。

注記 3

ときには被験者の使用頻度が異なることは,成功率が異なることと相関関係がある。例えば,


47

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

拒否された被験者が,さらなる入力試行を行うことで認識されるかもしれないし,又はシス

テムをより頻繁に使う者が,習熟の効果を通じてよりよい性能を得るかもしれない。そのよ

うな場合には,過剰に頻度が高いが代表的でない利用者の小さな集団に結果が支配されるか

もしれないので,式

(B.5)

及び式

(B.6)

を直接には適用できない。

B.3.3

観測された誤合致率の分散

完全な組の相互比較が行われる場合には,観測された誤合致率及びその分散の推定は,次のように与え

られる。

(

)

∑∑

=

n

i

n

j

ij

b

n

mn

q

1

1

1

1

ˆ

(B.7)

( )

(

)(

(

)

(

)

(

)

(

)

(

)(

)

2

2

2

2

3

2

6

4

3

2

1

1

ˆ

ˆ

q

n

n

n

b

b

b

d

c

n

n

n

n

m

q

V

n

i

n

i

n

j

ji

ij

ij

i

i

⎪⎭

⎪⎩

+

+

=

∑∑

=

=

=

(

)

(

)

2

1

2

2

2

2

ˆ

4

1

1

q

n

d

c

n

n

m

n

i

i

i

=

+

(B.8)

ここに,

n: 被験者数(及び生体情報登録テンプレート数)

m: 被験者一人当たりのサンプル数

b

ij

番目の被験者のテンプレートと誤合致した 番目の被験者
のサンプル数(及び b

ii

=0)

c

i

番目の被験者のテンプレートに対する誤合致数の合計

(

=

=

n

j

ji

i

b

c

1

)

d

i

番目の被験者による誤合致数の合計  (

=

=

n

j

ij

i

b

d

1

)

qˆ : 観測された誤合致率

( )

ˆ

ˆ

観測された誤合致率の推定分散

注記  (m=1 の場合における)この推定の 2 行目は,ビッケルによって与えられた式であり[22],実

験で検証されてきた[24]

B.4

信頼区間の推定

B.4.1

一般的な事項

B.4.1.1

十分多数の入力試行では,中心極限定理[31]によって,観測された誤り率が,近似的に正規分布

に従うはずであることが示される。しかしながら,0 %に近い比率を扱うこと,及び尺度における分散が

母集団に対して一様でないことのために,被験者数がかなり大きくなるまでは,ある種のゆがみが残りや

すい。

B.4.1.2

正規性を仮定すると,観測された誤り率の 100(1−α) %信頼範囲は,次のように与えられる。

(

)

( )

p

V

z

p

ˆ

ˆ

2

/

1

ˆ

α

±

(B.9)

ここに,

z( )

標準正規累積分布の逆数

すなわち,平均

0

,分散

1

標準正規曲線における−∞から

z(x)

までの面積が

x

である。

95 %

の信頼限界では,

z(0.975)

の値は,

1.96

である。

α

信頼区間に誤り率の真の値が含まれない確率

ˆ

観測された誤り率


48

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

( )

p

ˆ

ˆ

誤り率の推定分散

B.4.1.3

(B.9)

が適用されるときには,信頼区間が,観測された誤り率に対して負の値に達することがよ

くある。しかし,負の誤り率ということはあり得ない。このことは,観測された誤り率の分布が正規性を

もたないことに起因する。そのような場合には,信頼区間を得るために,ブートストラップのようなノン

パラメトリック法を使うことが可能である [32][34]

B.4.2

分散及び信頼区間のブートストラップ推定

B.4.2.1

ブートストラップ推定は,観測された誤り率に内在する分布及び入力試行間の従属関係について

の仮定の必要性を減らす。分布と従属関係とは,データそのものから推察される。元のデータから復元抽

出することによって,ブートストラップ標本が作り出され,この標本から代わりの誤り率の推定が作り出

される。多数のこのようなブートストラップ標本をもって,推定量の経験分布を得ることができる。これ

は,信頼区間,推定の不確実性,その他を求めることにも使うことができる。

B.4.2.2

処理過程を説明するために,

n

人の被験者それぞれが

m

回の入力試行を行い,

(n

1)

人分すべて

の非自己テンプレートと比較する相互比較一式を用いて,誤合致率を推定することを想定する。

x(ν,  a,  t)

は,テンプレート

t

に対する被験者

ν

a

番目の入力試行とのマッチング結果を示す。誤合致率を推定す

るデータ集合

X

は,

mn(n

1)

すべての相互比較の結果から構成される。

(

)

{

}

{

}

{

}

m

a

n

v

t

t

a

v

x

X

,...,

1

,

,...,

1

|

,

,

=

それぞれのブートストラップ標本は,元のデータの構造及び従属関係を複製する方法で,

X

から作られ

なければならない。その手順は,次のようになる。

a

)  n

人の被験者を復元抽出する:

ν(1), ..., ν(n)

(復元抽出は,リストには同じ項目が

2

個以上含まれ得る

ことを意味する。

b

)

それぞれの

ν(i)

に対して,

(n

1)

の非自己テンプレートを復元抽出する:

t(i, 1), ..., t(in

1)

c

)

それぞれの

ν(i)

に対して,その被験者による

m

回の入力試行を復元抽出する:

a(i, 1),

a(im)

d

)

作り出されるブートストラップ標本は,

( ) ( ) ( )

(

)

{

}

{

} {

}

{

}

m

a

n

j

n

i

k

i

a

j

i

t

i

v

Y

,...,

1

1

,...,

1

,

,...,

1

|

,

,

,

,

=

である。

多くのブートストラップ標本が生成され,それぞれに対して誤合致率が得られる。誤合致率に対するブ

ートストラップ値の分布は,観測された誤合致率の分布の近似に用いられる。

B.4.2.3

ブートストラップ値は,

100(1

α) %

の信頼限界を求めるための直接的な方法を可能にする。

L

(下

限)及び

U

(上限)は,ブートストラップ値の

100α/2

パーセンタイルを信頼区間の下限

L

100(1

α/2)

ーセンタイルを信頼区間の上限

U

となるように選ばれる。

95 %

限界に対しては少なくとも

1 000

のブート

ストラップ標本を,

99 %

限界に対しては少なくとも

5 000

のブートストラップ標本を用いることが望まし

い。

B.4.3

部分集合のサンプリング

B.4.3.1

観測された誤り率における誤差の範囲を推量するためのさらなる方法は,収集データを互いに素

な利用者の部分集合に分割し,それぞれの部分集合に対して

DET

曲線を生成することである。例えば

FRVT2002

の評価[11]は,誤差だ(楕)円を生成するためにこの方法を用いた。

B.4.3.2

誤差だ(楕)円を導く基本的な方法

a

)  T

人の被験者を用いた性能評価結果を集める。

b

)

試験母集団を規模

N

T/M

である互いに素な

M

(例

M

10

)の集団に分ける。

c

)

それぞれの部分集合に対して

DET

曲線を計算する。


49

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

d

)

いき(閾)値

t

を仮定して,

1.  i

1, ..., M

となるすべての部分集合に対して,いき(閾)値での

x

i

(FMR

i

, FNMR

i

)

T

を見つける。

2.

標本平均

m

sum(x

i

)/M

及び標本共分散行列∑=

sum[(x

i

m)(x

i

m)

T

]/(M

1)

を計算する。

3.  m

及び∑

/sqrt(M)

は,いき(閾)値

t

での(試験母集団全体に対して計算した)

FMR

及び

FNMR

観測値の分布の推定を与え,これは正規性の仮定の下で,

m

の周りの

95 %

(例)信頼だ(楕)円を

決定するために使われる。

e

)

さらなるいき(閾)値

t

で繰り返す。

注記

d

)

1.

及び d

)

2.

で,

T

はベクトルの転置を表す。


50

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

附属書 C 

参考)

性能に影響を与える要因

C.1

一般的な事項

この附属書では,性能に影響を及ぼす幾つかの利用者及び環境要因について示す。評価のデータ収集の

段階の間に,それらの要因を制御又は記録する必要がある場合もあり得る。

評価の計画のときに,評価に影響を及ぼすそれぞれの要因に対する可能性を次のように考察する。

a

)

性能への影響を最小化する(又は解明する)ために必要な制御は(もしあれば)何か。例えば,これ

は,

影響を均等にするために,

すべての入力試行に対して条件を一定又はランダムにすることを含む。

b

)

各々の要因の制御を不要にする仮定又は理由は何か。例えば,対象アプリケーションと同じようにテ

ストシナリオにも要因は影響を及ぼし得る。別の場合では,予備調査は,関連機器のために各要因の

影響がわずかであることを示す。

c

)

どのような情報を,次のような目的のために評価中に記録する必要があるのか。

1

)

どのような要因でも重要性を決められるため(又は無意味であることを示せるため)

2

)

ほかの極端に結果を偏らせる特別な場合を識別するため。

ある問題に関係する被験者のサブセットが識別可能な場合には,そのサブセットの誤り率の数字

を残りの被験者のものと比較することが可能な場合もある。

報告される結果には,このようなチェックリストを含ませることができる。

記載された要因は,一般的にバイオメトリックモダリティのサブセットにだけ問題の原因になる。例え

ば,照明の変化は,光学ベースのシステム[例えば,顔,指紋,網膜,こう(虹)彩,静脈に基づいた]

にだけ影響を与え,更に,音響ノイズは音ベースのシステム(例えば,話者照合)に影響する。幾つかの

バイオメトリック機器は,どんな問題の要因もある程度制御する働きをする。同様に,問題がリスト内に

含まれないことが観測されてもよい。

問題が発生したとき,通常その要因はサンプルの品質を下げ,その結果,生体情報登録失敗率,取得失

敗率及び誤非合致率を増加させる。しかしながら,ノイズの多い,又は問題ある画像が,誤合致率を増や

す誤った合致を許すような幾つかの場合もある。

注記

より詳細な要因に関する分析は,この規格群の

第 部の附属書 JA で与えられる。

C.2

要因リスト

C.2.1

母集団の人口統計

考えられる人口統計上の要因は,次のとおりである。

年齢。

(急激に変化する)子供,及び(バイオメトリックの小さな損傷が治るのに,おそらく長くかか

る)高齢者の場合には,誤非合致及び取得失敗が平均よりも増加する傾向がある。

民族的出身,性別,職業。

(個々のバイオメトリックシステムのための)個人のバイオメトリックの品

質は,個人の民族的出身,性別,職業に依存する場合がある。特定の対象母集団に調整されたバイオ

メトリックシステムは,異なる民族及び性別構成で使用する場合に,性能を下回ることが多い。

C.2.2

アプリケーション

考えられるアプリケーション上の要因は,次のとおりである。


51

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

生体情報登録∼照合間の経過時間。テンプレートエージング,すなわちバイオメトリックパターンと

提示方法との変化は,生体情報登録テンプレート生成と照合又は識別の入力試行との間の遅れに従う

点で異なる。幾つかのモダリティでは,利用者の外観及び振る舞いがほんの少ししか変わらない,生

体情報登録後の短い時間の性能は,数週間又は数箇月後のものに比べずっとよい。

時刻。振る舞い及び生理機能は,

1

日の間で変化することがあり得る。

利用者の習熟度。利用者がシステムに慣れ親しむにつれて,正確な位置合わせ,及び発生するかもし

れない照合の問題を埋め合わせるための適切な行動を知る傾向が強い。

利用者の自発性。利用者は,バイオメトリックトランザクションの重要性に従って異なる行動を起こ

す。

C.2.3

利用者の生理状態

考えられる利用者の生理機能上の要因は,次のとおりである。

ひげ及び口ひげは,顔システムに影響を及ぼす。

頭髪の有無

身体上の故障,病気,又は疾患。例えば,次がある。

切断。手,又は指をベースにしたシステムが使えない。

関節炎。手,又は指をベースにしたシステムを使うのが難しい。

盲目。こう(虹)彩又は網膜をベースにしたシステムを使うことができない。また,その他のシス

テムの位置決めに影響を及ぼす。

あざ。顔,又は手の画像に一時的な影響を及ぼす。

風邪,又はこう(喉)頭炎。声に一時的な影響を及ぼす。

松葉づえ。確実に立つことが難しい可能性がある。

はれ。顔,又は手の画像に一時的な影響を及ぼす。

車いす。車いすの人には,システムの高さが違っているかもしれない。

健康状態の変化。通常の経年変化の影響よりも早い場合がある。

まつげ。長いまつげはこう(虹)彩の可視領域を少なくする場合がある。

指のつめの成長。手と指との位置決めに影響する。

指紋の状態。例えば,

隆線の深さと間隔。

乾燥,きれつ,湿潤

身長。とても高い人,又はとても低い人(若しくは車いすの人)は正確な位置決めが難しいことがあ

る。

こう(虹)彩の色の強さ

肌の色合い。システムが顔,又はこう(虹)彩の位置を検出する正確さに影響する場合がある。

C.2.4

利用者の振る舞い

考えられる利用者の振る舞い上の要因は,次のとおりである。

方言,アクセント,母国語。声のシステムに影響を与える場合がある。

言い回し,抑揚,音量。声のシステムに影響を与える。

表情。

言語のアルファベット。筆跡署名システムに影響を与える。

語句の言い間違い,又は読み違い。声のシステムに影響を及ぼす可能性がある。


52

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

動き。幾つかのシステムは,被験者に静止状態を要求する,その一方,幾つかの動きとともに機能す

るものもある。

姿勢と位置決め。例えば,

カメラの正面,横顔,角度。

頭の傾き。顔及びこう(虹)彩のシステムに影響する。

ずれ及び回転。指紋及び手のシステムに影響する。

カメラまでの距離。

高すぎる,低すぎる,極端に左,極端に右。

事前の活動。例えば,

息を切らす。声のシステムに影響する。

多汗。指紋のシステムに影響する。

水泳。指の縮みが指紋のシステムに影響する。

ストレス,緊張度,雰囲気,又はイライラ。

C.2.5

利用者の外観

考えられる利用者の外観上の要因は,次のとおりである。

包帯,又はばん創こう。手,顔,若しくは指紋の一部を変える又は覆い隠す。

衣服

帽子,イヤリング,スカーフ。顔ベースのシステムに影響する場合がある。

そで。手ベースのシステムを妨げる場合がある。

かかとの高さ。利用者の見かけの高さが変わる。

ズボン,スカート,靴。歩行認識に影響を及ぼす。

コンタクトレンズ。模様付きコンタクトレンズはこう(虹)彩認証に影響を及ぼす。

化粧品。一時的に顔の外観が変わる。

眼鏡,サングラス。部分的に顔,又はこう(虹)彩を覆い隠す。

付けづめ。手,又は指ベースのシステムで置き位置を変えてしまう。

髪形及び色。一時的に顔の外観を変える。

指輪

いれずみ(刺青)

C.2.6

環境の影響

考えられる環境上の要因は,次のとおりである。

背景

色,混雑,含まれる顔又は影。顔検出システムの性能に影響する。

ノイズ,他人の声。声ベースのシステムによる記録された音声を変える場合があり,また,利用者

が指示を聞く能力に影響する場合がある。

照明レベル,方向,反射光。カメラベースのシステムに影響する。

天気

温度,湿度。例えば,指紋の乾燥又は湿気,静脈及び温度画像の鮮明度に影響する。

雨及び雪。ぬ(濡)れた髪が顔の外観に影響する場合がある。

C.2.7

センサ及びハードウェア

考えられるセンサ及びハードウェア上の要因は,次のとおりである。


53

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

残留指紋で汚した汚れ

カメラのレンズ

入力面

フォーカス

センサの品質。マイクの品質(音声システム)及びカメラの品質(画像システム)

センサの変化

センサの間。同じセンサでも個体差があることがある。異なるバージョン又は異なる型では,違い

は,より大きくなる。

センサの磨耗。

センサの交換

伝送路。伝送路は,信号にノイズを加える場合がある。伝送路が入力試行ごとに異なる場合もある。

例えば,電話で使われる経路及びネットワークは通話ごとに異なり,品質は負荷に依存する。

C.2.8

利用者インタフェース

考えられる利用者インタフェース上の要因は,次のとおりである。

フィードバック。性能は,利用者が受け取るフィードバックに依存する場合がある。例えば,提示し

た指紋(画像)を利用者が見られる場合には,より高品質のバイオメトリックサンプルとなるように,

その提示を変えることができる。

指示。

管理。監督者の違い又は変化によって,生体情報登録,利用者のトレーニング,利用者の入力試行に

違いが生じる。

C.3

報告書の例

C.3.1

指の位置

観測に関する事項:スキャナのガイドが,

アルゴリズムの許容範囲内に指の位置を合わせるようにした。

制御:なし

記録:該当なし

C.3.2

照明

観測に関する事項:日光の変化による照明の変化が,例えば,生体情報登録と照合との問題を引き起こ

した。

制御:自然の日光を除いた一定の照明レベルの部屋で行われる試行

記録:該当なし

観測に関する事項:こう(虹)彩上での反射を引き起こす拡散照明。

制御:外部光源からセンサを保護するように修正された装置。

記録:該当なし

C.3.3

眼鏡

観測に関する事項:顔システム

X

で,眼鏡をかけた人々の生体情報登録がほとんど不可能であると分か

った。

制御:その装置を使用するため,眼鏡をかけた人々に眼鏡を外すことをお願いした。

記録:眼鏡をかけた人々の人数。生体情報登録失敗率にその数を入れることができるようにするため。


54

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

C.3.4

入力面の汚れ

観測に関する事項:入力面上の累積した油は,指紋システムの性能の劣化を引き起こした。

制御:定期的にシステムの掃除をする(掃除の計画を提示する。

記録:システムが掃除された時間

C.3.5

天気

観測に関する事項:汗ばんだ指が生体情報登録又は照合の問題を引き起こした。

制御:なし。気象条件は標準的なものだと思われる。

記録:試行中の気温,湿度。


55

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

附属書 D 

参考)

予備選択(プリセレクション)

D.1

予備選択アルゴリズム性能

D.1.1

識別システムのすべてをテストするには,使用時の予備選択アルゴリズムの評価が必要となる。そ

れらのアルゴリズムの目的は,識別の候補テンプレートの数を定める(減らす)ことである。入力サンプ

ルが与えられて,データベース分割(ビニング)法又はデータベース非分割(ビンレス)法による予備選

択技術は,全体のテンプレートデータベースのサブセットを予備選択するのに適用され,その入力サンプ

ルは,予備選択サブセットの中でお互いのテンプレートだけと比較される。

D.1.2

データベース分割法,すなわちときどき“

exclusive classification

”と呼ばれるものは,予備選択を

達成するための一つの方法であり,前もってテンプレートデータベースをサブセットに分類しておき,そ

れと同じ方法で分類した入力サンプルを同じ分類のテンプレートとだけ比較する。データベース分割法以

外では,例えば“

continuous classification

[35][39]のようなデータベース非分割(ビンレス)予備選択と

して知られている他の技術がある。

D.1.3

テンプレートデータ全体のセットからの予備選択処理は,また一方で,予備選択誤りを導く場合が

ある。同じ利用者の同じ生体特徴によるサンプルが与えられて,予備選択された候補のサブセットの中に

生体情報登録テンプレートがない場合に誤りは発生する[データベース分割法の場合,例えば,同じ利用

者の同じ生体特徴による生体情報登録テンプレートとそれと同じ生体情報のサンプルとが,

(該当するテ

ンプレートを参照することのない)異なる予備選択枠に分類された場合に,誤りが起こる。

D.1.4

予備選択アルゴリズムの性能は,次の観点で報告されなければならない。

a

)

予備選択誤り率。これは,入力サンプルに対応する生体情報登録テンプレートが予備選択された,入

力サンプルと比較されたテンプレートのサブセットでない場合の本人の入力試行の割合である。

b

)

絞込み率。これは,検索(すなわち,全体のデータベースサイズによって分けられた予備選択サブセ

ットの平均サイズ)又はすべての本人の入力試行によって平均されるべきデータベースの割合である。

D.1.5

オフラインテストのために集められたコーパスを,

(平均)絞込み誤り率と予備選択誤り率とを立

証する

2

番目のテストで使ってもよい。

コーパス内のそれぞれの本人入力試行のテストサンプルに対して,

提案アルゴリズムを使用したすべての生体情報登録テンプレート上で予備選択を行い,予備選択された候

補の数を記録し,予備選択誤り(予備選択候補のセットは入力試行を行う被験者の識別を含まない。

)を計

算する。予備選択誤り率を,予備選択誤りの総数を本人入力試行のテストサンプル数で除した値として評

価する。

(平均)絞込み誤り率を,本人入力試行のテストサンプル上の予備選択候補数の平均を生体情報登

録テンプレート数で除した値で評価する。

D.1.6

しばしば,予備選択アルゴリズムは調節可能なパラメタをもつことがある。一般的に,予備選択さ

れたサブセットサイズの平均が小さいほど(又は,データベース分割法の場合に起きるデータベースの分

類が多いほど)

(平均)絞込み率は低くなるが,予備選択誤りの確率が上がる。それらの競合する設計要

因は予備選択誤り率対(平均)絞込み率の曲線として表現してもよい。


56

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

附属書 E

参考)

データベースサイズの関数としての識別性能

図 E.1 は,登録者非限定識別の顔認証システムにおいて母集団のサイズ

N

の変化に対して得られる

DET

曲線の変化を示す例である。それぞれの

DET

曲線は,母集団のサイズ

N

によって大きく変化する。識別

誤り率がサンプルに独立す る と 仮定 す ると ,

N

が大 きく なるに 従って 誤拒否 識別率

(False Negative

Identification-error Rate: FNIR)

は,

1

(1

FMR)

N

という式に従って大きくなる。この値は,

FMR

が小さい

場合には

N

×

FMR

で更に近似される。すなわち,

N

に比例して

FNIR

が増加する。ここに示された

DET

線は,実験から得られた実測値であり,識別誤りがサンプル独立であるというモデルが,ほぼ正確である

ことを示している。この図は,妥当な

FMR

で大きなサイズの母集団を識別することの難しさを顕著に示

している。

0.000 1

0.001

0.01

0.1

1

誤受入識別率

誤拒否識別率

0.01

0.1

1

図 E.1−生体情報登録母集団サイズが 1416622601 1113 000 の場合の

誤受入識別率の関数,誤拒否識別率を表す DET 曲線プロットの例。

N

の縮退した場合として,サイズ の母集団内での識別は,照合となる。


57

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

附属書 F

参考)

ROC

,DET,CMC を生成するアルゴリズム

F.1

ROC

及び DET のためのアルゴリズム

DET

又は

ROC

上のデータ点を効率的に導くための手順を,次に示す。

a

)

本人照合得点値を増加順にソートする。

s

1

s

2

s

3

s

k

b

)

それぞれの本人照合得点値の頻度を数える。

g

1

g

2

g

3

, …, g

k

c

)

各区間

(

−∞

s

1

), (s

1

s

2

), (s

2

s

3

), …, (s

k

,

)

の偽者スコアの数を数える。それぞれを

h

0

h

1

h

2

, …, h

k

とす

る。

d

)

順にそれぞれの本人照合得点値

(s

j

)

を得る。

1

)  s

j

以上の偽者スコアの数を数える。次による∑

k

j

i=

h

2

)

偽者入力試行の総数で除すことで,この照合得点のいき(閾)値における誤合致率を与える。

3

)  s

j

より小さい本人照合得点の数を数える。次による∑

1

1

=

j

i

g

4

)

本人入力試行の総数で除すことで,この照合得点のいき(閾)値における誤非合致率を与える。

F.2

CMC

を生成するためのアルゴリズム

効率的なデータ生成を行うための手順を,次に示す(一人につきテンプレートが

1

個と仮定する)

a

)

各入力試行における識別順位の決定を,次に示す。

1

)

入力試行に対する本人照合得点値を調べる。

2

)

次の入力試行(偽者テンプレートと本人テンプレートとの組合せに対して)における照合得点の数

を数える。

i

)

本人照合得点値より大きいスコアの数:

x

ii

)

本人照合得点値と等しいスコアの数:

y

3

) (y

1)

ならば,入力試行は識別順位

(x

1)

をもち,さもなければ,順位は

(x

1), …, (x

y)

の範囲の値

で定義される。

b

)

それぞれの(注目した)順位

r

に対して

1

) r

以下の順位の入力試行の数を数える。順位が一意に決まらず,ある範囲内で計算される入力試行

は,その区間のうち順位

r

以下にある値の割合をカウントする。

2

)

入力試行の総数で除すことで,テストサンプルにとっての真のテンプレート/モデルが生体情報登

録データベース内の類似したテンプレートとして,

r

番目以内に見つかる確率が得られる。この確

率は,

CMC

グラフ上で

r

に対してプロットされる。


58

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

参考文献

[1]

Fejfar, A. and Myers, J.W. The testing of three automatic identity verification techniques. Proceedings of the

International Conference on Crime Countermeasures, Oxford, July 1977

[2]

Davies, D.W. and Price, W.L. Security for computer networks, Wiley, 1984. (Sections 7.10 & 7.11 review

several performance evaluations)

[3]

Holmes, J.P., Wright, L.J., and Maxwell, R.L. A performance evaluation of biometric identification devices.

Sandia report SAND91-0276, June 1991

[4]

Bouchier, F., Ahrens, J.S., and Wells, G. Laboratory evaluation of the iriscan prototype biometric identifier.

Sandia report SAND96-1033, April 1996

[5]

Rauss, P., Phillips, P.J., Hamilton, M.K. and DePersia, A.T. FERET (face recognition technology) recognition

algorithms. Proceedings of Automatic Target Recognizer System and Technology Conference, July 1996

[6]

Roethenbaugh, G. ICSA biometric certification. Biometric industry product buyer's guide, ICSA, 1998, 27-31

[7]

BIOIS: Comparative study of biometric identification systems: Public final report. Study by Fraunhofer- IGD

for BSI (German Information Security Agency) and BKA (German Federal Police Agency), May 2000

[8]

Blackburn, D., Bone, M. and Phillips, J. Facial recognition vendor test 2000. February 2001

[9]

Mansfield, A.J., Kelly, G.P., Chandler, D.J. and Kane, J. Biometric product testing final report. Report for

CESG and Biometrics Working Group, March 2001

[10]

  Maio, D., Maltoni, D., Cappelli, R., Wayman, J.L. and Jam, A.K. FVC2000: Fingerprint verification

competition. IEEE Trans. PAMI, 2002, 24(3), 402-412

[11]

  Phillips, P.J., Grother, P., Michaels, R.J., Blackburn, D.M., Tabassi, E. and Bone, M. Face recognition vendor

test 2002 Evaluation Report. NIST IR 6965, 2003

[12]

  Mansfield, A.J. and Wayman, J.L. (2002) Best Practices in Testing and Reporting Performance of Biometric

Devices, Version 2.01, NPL Report CMSC 14/02

[13]

  Doddington, G.R., Przybocki, M.A., Martin, A.F. and Reynolds, D.A. The NIST speaker recognition

evaluation: Overview methodology, systems, results, perspective. Speech Communication, 2000, 31(2-3),

225-254

[14]

  Phillips, P.J., Martin, A., Wilson, C.L. and Przybocki, M. An introduction to evaluating biometric systems.

Computer, (Feb 2000), 56-63

[15]

  Hennessy, J.L. and Patterson, D.A. Computer Architecture: A Quantitative Approach, 2nd ed., Morgan

Kaufman, San Francisco, 1996

[16]

  Doddington, G., Liggett, W., Martin, A., Przybocki, M. and Reynolds, D. Sheep, goats, lambs and wolves: A

statistical analysis of speaker performance in the NIST 1998 speaker recognition evaluation. ICSLP,

November 1998

[17]

  Wayman, J.L. Multi-finger penetration rate and ROC variability for automatic fingerprint identification

systems. National Biometric Test Center, May 1999

[18]

ISO/IEC 19794-4

, Information technology

Biometric data interchange formats

Part 4: Finger image data

[19]

ISO/IEC 19794-5

, Information technology

Biometric data interchange formats

Part 5: Face image data

[20]

ISO/IEC 19794-6

, Information technology

Biometric data interchange formats

Part 6: Iris image data


59

X 8101-1

:2010 (ISO/IEC 19795-1:2006)

[21]

  Cox, R. Three new speech coders from the ITU cover a range of applications. IEEE Communications

Magazine, 1997, 35(9-special issue on standardization and characterization of G729), 40-47

[22]

  Wayman, J.L. Technical testing and evaluation of biometric identification devices. Biometrics: Personal

identification in networked society, edited by A.K. Jain, et al., Kluwer, 2000, 345-368

[23]

  Godfrey, J., Graff, D. and Martin, A. Public databases for speaker recognition and verification. ESCA

Workshop on Automatic Speaker Recognition, Identification and Verification, 1994

[24]

  Wayman, J.L. Confidence interval and test size estimation for biometric data. Proceedings of the IEEE

AutoID Conference, 1999

[25]

  Newman, H.H., Freeman, F.N. and Holzinger, J.K. Twins, Chicago University Press, 1937. Results on

fingerprint similarity between identical twins cited in [31, table 10.20.1]

[26]

  Daugman, J. and Downing, C. Epigenetic randomness, complexity, and singularity of human iris patterns.

Proceeding of the Royal Society Biological Sciences, 2001, 268, 1737-1740

[27]

  Jain, A.K., Prabhakar, S. and Pankanti, S. On the similarity of identical twin fingerprints. Pattern

Recognition, 2002, 35(11), 2653-2663

[28]

  Louis, T.A. Confidence intervals for a binomial parameter after observing no successes. The American

Statistician, 1981, 35(3), 154

[29]

  Hanley, J.A. and Lippman-Hand, A. If nothing goes wrong, is everything all right? Interpreting zero

numerators. Journal of the American Medical Association, 1983, 249(13), 1743-1745

[30]

  Jovanovic, B.D. and Levy, P.S. A look at the rule of three. The American Statistician, 1997, 51(2), 137-139

[31]

  Snedecor, G.W. and Cochran, W.G. Statistical methods, Iowa State University Press, 1967 (Sixth edition)

[32]

  Efron, B. and Tibshirani, R.J. An introduction to the bootstrap, Chapman and Hall, 1997

[33]

  Diegert, K.V. Estimating performance characteristics of biometric identifiers. Proceedings of Biometrics

Consortium Conference, San Jose, CA, June 1996

[34]

  Bolle, R.M., Ratha, N.K. and Pankanti, S. Confidence interval measurement in performance analysis of

biometric systems using the bootstrap. Proceedings of Workshop on Empirical Evaluation Methods in

Computer Vision, Hawaii, December 2001

[35]

  Maltoni, D. et al, Handbook of Fingerprint Recognition, Springer, 2003

[36]

  Lumini, A, Maio, D. and Maltoni, D., Continuous versus exclusive classification for fingerprint retrieval,

Pattern Recognition Letters, Vol.18, No.10, pp.1027-1034, 1997

[37]

  Uchida, K., Kamei, T., Mizoguchi, M. and Temma, T., Fingerprint Card Classification with Statistical Feature

Integration, Proceedings of the 14th International Conference on Pattern Recognition, Brisbane, Australia,

pp.1833-1839, August 1998

[38]

  Cappelli, R. and Maio, D., The State of the Art in Fingerprint Classification, in Ratha N. and Bolle R. (Eds.)

Automatic Fingerprint Recognition, Chapter 9, pp.183-205

[39]

  Kamei, T. Fingerprint Pre-selection Using Eigenfeatures for a Large-Size Database, in Ratha N. and Bolle, R.

(Eds.), Automatic Fingerprint Recognition, Chapter 13, pp. 263-282