X 0133-5 : 1999 (ISO/IEC 14598-5 : 1998)
(1)
まえがき
この規格は，工業標準化法に基づいて，日本工業標準調査会の審議を経て，通商産業大臣が制定した日
本工業規格である。
JIS X 0133-5
は，JIS X 0129 : 1994 を置き換えることになる JIS X 0129-1（作成中）と組み合わせて利用
することを意図している。この規格を含む JIS X 0133 群及び JIS X 0129 群の二つの規格群は，ソフトウェ
ア製品の評価にかかわる技術の進展を考慮し，JIS X 0129 : 1994 で規定された品質モデル及び評価プロセ
スモデルを拡張したものである。
JIS X 0129
群は，ソフトウェア製品の品質モデル及び測定法に関する規格であり，JIS X 0129 : 1994 か
らの主要な拡張を次に示す。
− 参考情報であった品質副特性を規定化
− 品質特性，品質副特性の定義の見直し
− 多様な品質評価の視点，時点を考慮した評価技術への対応
− 品質測定法を標準情報として提示
JIS X 0133
群は，ソフトウェア製品の評価プロセスに関する規格であり，JIS X 0129 : 1994 からの主要
な拡張を次に示す。
− 評価プロセスモデルの構成の見直し
− 作業要素の定義の見直し
− 評価主体の役割に応じた評価プロセスの規定
− ソフトウェア製品評価の支援プロセスの規定
− 評価モジュールの枠組みの規定
次の図で，JIS X 0129 群と JIS X 0133 群との関係を説明する。
JIS X 0129
群と JIS X 0133 群との関係
X 0133-5 : 1999 (ISO/IEC 14598-5 : 1998)
まえがき
(2)
JIS X 0133-1
は，JIS X 0129 群及び JIS X 0133 群によって表されるソフトウェア製品の評価の全体的な
枠組みを規定し，その他の規格は，その枠組みの下に個別の技術的側面を規定している。JIS X 0133-2（作
成中）は，ソフトウェア製品の評価を計画的に推進し，管理するための支援プロセスを規定している。JIS
X 0133-3
（作成中）
，JIS X 0133-4（作成中）及び JIS X 0133-5 は，それぞれ開発者，取得者及び第三者的
な評価者が，ソフトウェア製品を評価するプロセスを規定している。JIS X 0133-6（作成中）は，評価技術
を蓄積し，活用するためのひな形を規定している。
JIS X 0129-1
（作成中）
は，
品質モデル及び品質測定法を用いたソフトウェア製品の評価の枠組みを示し，
品質モデルを構成する品質特性及び品質副特性を規定している。JIS X 0129 群の
第 2 部，第 3 部及び第 4
部は，標準情報として作成中であり，ソフトウェア製品を稼動して評価するための外部測定法，ソフトウ
ェア製品を開発段階で評価するための内部測定法及び利用者がソフトウェア製品を利用したときの影響を
評価するための外部測定法について，それぞれ提案している。
JIS X 0133-5
には，次に示す附属書がある。
附属書 A（規定） 評価報告書のテンプレート
附属書 B（参考） 評価水準
附属書 C（参考） ソフトウェア製品構成要素
附属書 D（参考） 依頼者と評価者との相互の働きかけ
附属書 E（参考） 評価契約
附属書 F（参考） 関連規格一覧
JIS X 0133
群は， ソフトウェア製品の評価
の主題で，次の部から構成されている。
第 1 部：全体的概観
第 2 部：計画及び管理（作成中）
第 3 部：開発者のプロセス（作成中）
第 4 部：取得者のプロセス（作成中）
第 5 部：評価者のプロセス
第 6 部：評価モジュールの文書化（作成中）
関連する JIS X 0129 群は， ソフトウェア製品の品質
の主題で，次の部から構成されている。
第 1 部：品質モデル（作成中）
第 2 部：外部測定法（標準情報，作成中）
第 3 部：内部測定法（標準情報，作成中）
第 4 部：利用時の品質測定法（標準情報，作成中）
X 0133-5 : 1999 (ISO/IEC 14598-5 : 1998)
(1)
目次
ページ
序文
1
1.
適用範囲
1
2.
適合性
1
3.
引用規格
2
4.
定義
2
5.
評価の概念
3
5.1
全般的な概観
3
5.2
評価の開始時点
3
5.2.1
最初の合意
3
5.2.2
評価に関与している関係者
3
5.3
評価プロセスの特性
3
5.4
評価プロセス
4
5.4.1
評価活動
4
5.4.2
評価プロセスへの入力
4
5.4.3
評価プロセスの出力
5
5.5
評価とライフサイクルとの関係
5
6.
評価プロセスに対する要求事項
6
6.1
一般的要求事項
6
6.1.1
組織及び品質システム
6
6.1.2
依頼者の責任
6
6.1.3
評価者の責任
6
6.2
評価要求事項の確立
7
6.2.1
評価要求事項の確立の目的
7
6.2.2
評価要求事項の精密化
7
6.2.3
評価要求事項の内容
7
6.2.4
承認及び報告
8
6.3
評価の仕様化
8
6.3.1
評価の仕様化の目的
8
6.3.2
評価仕様の精密化
8
6.3.3
評価仕様書の内容
10
6.3.4
承認及び報告
10
6.4
評価の設計
10
6.4.1
評価設計の目的
10
6.4.2
評価計画の精密化
10
6.4.3
評価計画書の内容
12
X 0133-5 : 1999 (ISO/IEC 14598-5 : 1998)
目次
(2)
6.4.4
承認及び報告
12
6.5
評価の実行
12
6.5.1
評価実行の目的
12
6.5.2
評価者行為の実施
12
6.5.3
審査及び報告
14
6.6
評価の終結
14
6.6.1
評価の終結の目的
14
6.6.2
評価報告書の共同審査
14
6.6.3
評価データ及び文書類の処分
14
附属書 A（規定） 評価報告書のテンプレート
15
A.1
第 1 節−識別
15
A.2
第 2 節−評価要求
15
A.3
第 3 節−評価仕様
15
A.4
第 4 節−評価方法
16
A.5
第 5 節−評価結果
16
附属書 B（参考） 評価水準
17
B.1
評価水準の選択
17
B.2
評価水準からの評価技法の選択
18
附属書 C（参考） ソフトウェア製品構成要素
20
附属書 D（参考） 依頼者と評価者との相互の働きかけ
23
D.1
評価要求の分析
23
D.2
評価の仕様化
24
D.3
評価の設計
24
D.4
評価の実行
24
E.1
モデル契約
25
附属書 E（参考） 評価契約 E.1 モデル契約 TC
25
E.2
一般的法律の約定と条件
25
附属書 F（参考） 関連規格一覧
27
日本工業規格
JIS
X
0133-5
: 1999
(ISO/IEC 14598-5
: 1998
)
ソフトウェア製品の評価−
第 5 部：評価者のプロセス
Software product evaluation
−
Part 5 : Process for evaluators
序文 この規格は，1998 年に発行された ISO/IEC 14598-5, Information technology−Software product
evaluation
−Part 5 : Process for evaluators を翻訳し，技術的内容及び規格票の様式を変更することなく作成し
た日本工業規格である。
1.
適用範囲 この規格は，関係者がソフトウェア製品の評価結果を理解し，受け入れ，そして信頼する
ために，ソフトウェア製品の評価を実行するときの要求事項及び推奨を提供する。特に，JIS X 0129-1 に
規定された概念を適用するのに，使用するのがよい。
この規格が記述しているプロセスは，ソフトウェア製品の評価要求事項を分析すること，評価活動を仕
様化・設計し，実行すること，及びソフトウェア製品の評価の結果を得ることに必要な活動を定義してい
る。
評価プロセスは，対象となる製品構成要素が使用可能であるならば，既存製品又は開発中の製品を評価
するために，使用してもよい。
備考 開発中の製品評価では，評価プロセスは，ソフトウェア開発プロセスと同期する必要があり，
製品構成要素は，それに合わせて評価される必要がある。
この規格は，次のような場合に使用してもよい。
− 試験機関の評価者：ソフトウェア製品の評価サービスを提供するとき。
− ソフトウェア供給者：独立した試験サービスによって実行される評価を含め，供給者の製品の評価
を計画するとき。
− ソフトウェア取得者：供給者又は試験サービスからの評価情報を求めるとき。
− ソフトウェア利用者：製品を評価する，又は試験機関によって提供された評価報告を使用するとき。
− 審査団体：ソフトウェア製品に対する新しい審査方式を定義しようとしているとき。
2.
適合性 推奨という一般的な性質によって，利用者に選択の自由があり， この規格に適合している
という単純な主張には，意味がない。取引きの条件として，この規格を適用する場合は，いかなる組織も，
この規格の要求事項に適合する仕様化を行い，公表する責任がある。適用には，6.のすべての要求事項を
考慮するのがよい。
2
X 0133-5 : 1999 (ISO/IEC 14598-5 : 1998)
3.
引用規格 次に掲げる規格は，この規格に引用されることによって，この規格の規定の一部を構成す
る。この規格の制定時点では，次に示す版が有効であった。この規格に基づくことに同意した関係者は，
次に示す規格の最新版が適用できるかを調べるとよい。現在有効な国際規格の登録維持は，IEC 及び ISO
の構成員が行っている。
JIS X 0129-1 :
−ソフトウェア製品の品質−第 1 部：品質モデル(
1
)
備考 ISO/IEC 9126-1 : −, Information technology−Software product quality−Part 1 : Quality model が
この規格と一致している。
JIS X 0133-1 :
−ソフトウェア製品の評価−第 1 部：全体的概観
備考 ISO/IEC 14598-1 : −, Information technology−Software product evaluation−General overview
がこの規格と一致している。
JIS X 0133-6 :
−ソフトウェア製品の評価−第 6 部：評価モジュールの文書化(
2
)
備考 ISO/IEC 14598-6 : −, Information technology−Softwere product evaluation−Documentation of
evaluation modules
がこの規格と一致している。
4.
定義 この規格の主な用語の定義は，次による。
4.1
評価方法 (evaluation method) 特定の製品構成要素又は製品全体に対して，仕様化された計測又は
検証の結果を得るために，評価者によって実行される行為を記述した手続。
4.2
評価報告書 (evaluation report) 評価結果及び評価に関連する他の情報を公表する文書。
4.3
評価記録（書） (evaluation records) 評価プロセスの中で実行されたすべての活動及び得られた結
果の客観的証拠を文書化したもの。
4.4
評価依頼者 (evaluation requester) 評価を求める人又は組織。
4.5
評価ツール (evaluation tool) データを収集する，データの解釈を行う，又は評価の一部を自動化す
るために，評価中に使用されるツール。
備考 このようなツールの例は，コードメトリクスを計算するソースコード分析ツール，形式モデル
を生成する CASE ツール，実行可能なプログラムを走行させる試験環境，点検データを収集す
るチェック一覧，又は測定値の合計を生成する帳票入力集計シートがある。
4.6
評価者 (evaluator) 評価を行う人又は組織。
備考 評価者は，例えば，試験機関，ソフトウェア開発組織の品質部門，政府組織又は利用者であっ
てもよい。
4.7
ソフトウェア製品開発者 (software product developer) ソフトウェア製品を生産する人又は組織。
4.8
ソフトウェア製品評価 (software product evaluation) 規定された手続に従って，ソフトウェア製品
の一つ以上の特性の総合評価 (assessment) を行うことによって構成される技術的操作。
備考1. この定義は，ISO/IEC Guide 2の試験と比較することができる。しかし，ソフトウェア工学の
領域で広く受け入れられている試験 (testing) の概念との混乱を避けるために，この規格では，
評価 (evaluation) という用語を用いる。
2.
ソフトウェア製品評価では，証明の方法として（ISO/IEC Guide 2 : 1991 13.3.2 で定義してい
るように）
，適合性試験は，必ずしも必要としない。しかし，適合性試験は，評価の一部分で
注(
1
)
作成中である。この規格が発効するまで，JIS X 0129 : 1994 を使うのがよい
注(
2
)
作成中である。
3
X 0133-5 : 1999 (ISO/IEC 14598-5 : 1998)
ある。
5.
評価の概念
5.1
全般的な概観 ソフトウェア製品の品質は，JIS X 0129-1 で定義している品質特性を用いて示すこと
ができる。しかし，ソフトウェアの測定は，現在の技術では，一般に，これらの特性を直接測定する実用
的方法がない。可能なことは，製品に備わった抽象度がより低い属性を測定することによって，これらの
特性を総合評価することである。
この意味で，評価者は，総合評価にソフトウェア工学における評価者自身の経験を使うことができる。
このことは，評価の客観性を減少させる場合もある。他には，非決定論的評価方法を使用する可能性もあ
る。この方法は，たとえ精密に定義したものでも，事前に定義することができない選択肢を評価者に対し
て要求できる。
備考 非決定論的評価方法の例は，製品の仕様化された構成要素から形式モデルへ変換し，このモデ
ルを用いて性能又は信頼性の評価を行う評価方法である。モデルへの変換段階では，評価者が
どのようなモデルを選択し，変換するかという，多くの選択肢が存在する。
したがって，この規格の規定が，評価の客観性を可能な限り高い水準に保持するために，提供される。
これらの規定は，中間及び最終評価結果の審査を行う仕組み及びプロセスの記録を保持する仕組みをもた
らす。
5.2
評価の開始時点
5.2.1
最初の合意 ソフトウェア製品の評価は，依頼者が評価者にソフトウェア製品の評価を実施するこ
とを依頼したときに発生する。
備考 評価を依頼するときに，依頼者は，評価要求事項を記述し，評価者はそれを分析する。続いて，
依頼者及び評価者は，評価仕様について合意する。
5.2.2
評価に関与している関係者 評価の依頼者になり得る関係者には，次がある。
− ソフトウェア開発者
− ソフトウェア供給者
− ソフトウェア取得者
− ソフトウェア利用者
− ソフトウェア取得者の役割をするシステム製造業者
評価者となり得る関係者には，次がある。
− 第三者試験機関
− ソフトウェア製造又は配布分配する組織の試験部門
− ソフトウェアを購入又は利用する組織の試験部門
− システムを製造する組織内の試験部門
− 製品間の比較をしている組織
場合によっては，ソフトウェア製品の開発者は，評価の依頼者でないときでも，評価に関与することが
ある。
5.3
評価プロセスの特性 この規格の主要な目的は，次に示す望ましい特性をもつ評価プロセスの利用
を促進することにある。
− 反復性：同一評価者による同一評価仕様に基づく同一製品の評価の繰返しは，同一のものとして受
け入れられる評価結果を導き出せる。
4
X 0133-5 : 1999 (ISO/IEC 14598-5 : 1998)
− 再現性：異なる評価者による同一評価仕様に基づく同一製品の評価は，同一のものとして受け入れ
られる評価結果を導き出せる。
− 不偏性：評価結果は，特定の評価結果を導く方向に偏らない。
− 客観性：評価結果は，事実に基づく。評価者の感覚及び意見によって，色付けされない。
備考 異なった評価仕様に基づいて，同一製品の評価を実施することがある。その結果は，類似した
ものではなく，異なった結果をもたらすかもしれない。
5.4
評価プロセス 評価プロセスは（6.参照），依頼者及び評価者が共同で行う活動の集合から成る。こ
れらの活動は，依頼者及び評価者によって提供されたデータ又は他の活動のデータに基づき行われる。こ
れらの活動は，他の活動で用いられるデータ又は評価プロセスの結果となるデータを作り出す。
次の課題が考慮されるように，評価プロセスの活動を設計する。
− 様々な要求を満たすためにソフトウェア製品が開発されており，評価依頼者が固有の評価要求をし
ている場合もあるので，評価の目的は，それぞれに変化する（6.3.1 参照）
。
− ソフトウェア製品は，要素から構成されており，その形式及び性質は，非常に異なるであろう開発
方法に依存している。
− 利用可能な評価技術は，数多くあり，評価の目的及び製品の構成を考慮し，選択する必要がある。
これらのすべてを考慮すると，評価プロセスに，高い柔軟性をもたせることが必要である。
5.4.1
評価活動 評価プロセスは（6.参照），次に示す五つの活動から成る。
− 評価要求事項の分析（6.2.1 参照）
。
− 評価要求事項及び依頼者から提供された製品の記述に基づいた評価の仕様化（6.2.1 参照）
。
− 評価仕様書に基づいた評価計画書を作る評価設計。この活動では，評価対象のソフトウェア製品の
構成要素，及び評価者によって提案された評価方法を考慮に入れる。
− 評価計画書に従い，製品及びその構成要素の検査 (inspecting)，モデル化，測定及び試験から成る評
価計画の実行。これらの活動には，
（通常，評価者によって提供される。
）ソフトウェアツールを使
うことができる。評価者は，行った行為を記録し，得られた結果を評価報告書草案に記載する。
− 評価報告書の引渡し，及び引き渡されていた構成要素も含めて評価対象製品を評価者が処分するこ
とから成る評価の終結。
5.4.2
評価プロセスへの入力 依頼者は，評価要求の初版となる依頼者としての要求事項を提供する。依
頼者は，評価期間中に評価プロセスへの入力として，次を提供する。
− 製品記述
− 製品構成要素
ソフトウェア製品についても，評価対象とされたものを，製品記述によって識別する。
備考1. 製品は，その製品開発に用いた計画，プロセス又は開発方法に関する文書を含んでもよい。
計画の文書は，スケジュール，組織構造又は見積費用を含んでもよい。
2.
依頼者が利用者の場合，依頼者は，開発者が評価者を支援することを開発者と合意するのが
よい。評価のために，ソフトウェア構成要素記述及びソフトウェア製品記述を評価者に引き
渡すことを，開発者に要求してもよい。
評価者は，評価プロセスへの入力として，次を提供する。
− 事前に定義した評価仕様書
− 評価方法
− 評価ツール
5
X 0133-5 : 1999 (ISO/IEC 14598-5 : 1998)
5.4.3
評価プロセスの出力 評価プロセスの実施期間中に，評価者は，出力するものとして，次を提供す
る。
− 評価計画書及び評価行為の記録を含む評価記録
− 評価要求書，評価仕様書及び統合的な評価結果を含む評価報告書草案
− 審査済みの評価報告書
評価要求書，評価仕様書及び評価計画書は，評価プロセスの中間成果物である。評価記録及び評価報告
書は，評価プロセスの最終成果物である。
評価要求書に，評価の目的を記述する。特に，その製品に対する品質要求を記述する。
評価仕様書に，製品及びその構成要素に対して行われるすべての分析及び測定を定義する。分析及び測
定を予定している製品の構成要素を明らかにする。
評価計画書に，評価仕様書の内容を実施するために，必要な操作手順を記述する。特に，評価に用いる
すべての方法及びツールを記述する。
評価記録に，評価計画及び評価計画を実行する間に評価者が行った行為の詳細を記述する。これらの記
録を評価者が保持する。
備考1. 評価結果を再現することができるように，評価記録が保持される。
評価報告書は，評価要求，評価仕様，測定及び分析の結果，並びに評価の反復又は再現のために必要な
他の情報を含む。評価報告書は，まず審査のために草案として出される。最終的な形になったとき，依頼
者に引き渡される。
備考2. 上記のプロセスの概要を図1に示す。活動間の情報の流れを明らかにする。
図 1 評価プロセス
5.5
評価とライフサイクルとの関係 JIS X 0160 で定義されたライフサイクルのいずれのプロセスの中
でも，ソフトウェア製品の評価を行うことができる。特に，取得，供給，開発プロセス，運用又は保守プ
ロセスの中で，評価を行うことができる。
6
X 0133-5 : 1999 (ISO/IEC 14598-5 : 1998)
ソフトウェア製品の評価を行うかどうかについての判断は，製品開発プロセスのできるだけ早い時期に
行うのがよい。もし，開発プロセスの早期に正しく行われるなら，ソフトウェア開発プロセスの中に，評
価のための測定及び試験の実行を組み込むことが可能である。このことは，余分な予期せぬ費用を招くリ
スクを最小限にし，評価結果に関係のある要求のすべてを製品が満足する可能性を最大限に高めるであろ
う。
評価依頼者が製品開発者であるときは，製品を評価する意図について討論するために，評価者と早期に
接触することは，評価者がもっているかもしれない特別な必要性（評価者から要求されることになるかも
しれない特別な文書又は証拠のようなもの。
）を開発者が知ることにも役立つ。
評価行為の幾つか（又は行為すべてのこともある。
）を評価者のところではなく，現場で行わなければな
らない場合もあり得る。このような場合でも，結果が不偏的であることを確実にするために，評価者は，
活動を制御する。
非常に大きく複雑なソフトウェアプロジェクトにとって，製品の開発期間中に，開発者が評価者と継続
的に細部にわたり協力することは，
評価プロセスの実施期間及びコストを最小限にするために有効である。
この協力は，評価者の不偏性を損なわないものであるのがよい。
6.
評価プロセスに対する要求事項
6.1
一般的要求事項
6.1.1
組織及び品質システム 5.3 に示した特性，すなわち，評価結果の反復性，再現性，不偏性及び客
観性を満足するために，評価者は，その活動が十分な品質の確保に必要なあらゆる保証を与えるように，
組織的な活動を行わなければならない。この要求事項を満足させるために，評価者の組織は，ISO/IEC
Guide 25
で規定している要求事項に従ってもよい。
6.1.2
依頼者の責任 評価依頼者は，次のことに，責任をもたなければならない。
− 評価目的のために，ソフトウェア製品に対する必要な法的権利を設定する。
− 製品の識別及び記述に関する必要な情報を提供する。
− 初期の評価要求事項を明確にし，実際の評価要求事項を決めるために，評価者と交渉する。評価に
対するこれらの要求事項は，適切な規則及び規格に従うのがよい。
− 評価のために提供された情報に関する機密保護の要求事項を提示する。
− 必要であるときは，いつでも，開発者と評価者との仲介者として活動する。
− 必要であるときは，いつでも，そのソフトウェア製品の開発及び運用のために利用される計算機及
びその他の機器への適切なアクセスを，評価者に提供する。
− 必要であるときは，いつでも，教育訓練及びしかるべきスタッフと打ち合わせることも含めた，評
価者への支援を提供する。
− 必要であるときは，いつでも，文書及び他の資料を含め，ソフトウェア製品，その記述及び構成要
素を適時に提供することを確実にする。
− 必要であるときは，いつでも，評価結果を無効とする可能性のあるいかなる要因も，評価者に伝え
る。
6.1.3
評価者の責任 評価者は，次のことに，責任をもたなければならない。
− 評価を行うために，ソフトウェア製品に対する十分な法的権利を依頼者がもっていることを確認す
る。そのために，評価者は，依頼者に証明提示を要求してもよい。
− 依頼者により提供されたすべての情報，例えば，評価中の製品，評価記録及び評価報告書を含めた
7
X 0133-5 : 1999 (ISO/IEC 14598-5 : 1998)
情報に対する機密を，依頼者から要求されているように保護する。
− 評価を指揮する資格のある教育訓練されたスタッフを参加させる。
− 評価ツール及び評価技術を提供する。
− 評価要求事項に従って，評価を指揮する。
− 評価期間中に実施される作業で，評価結果に影響がある作業は，いかなる作業も評価期間中は維持
する。
− 依頼者へ適時に，評価報告書の引渡しを確実に行う。
− 依頼者から依頼された評価の実施状況を可視化し，提供する。
6.2
評価要求事項の確立
6.2.1
評価要求事項の確立の目的 評価要求事項の確立の目的は，評価の目的を記述することである。こ
のような評価目的は，ソフトウェア製品の意図された利用及び利用に伴うリスク（例として，
附属書 B 参
照）に関係している。複数の視点を考慮してもよい。これは，製品が異なった視点で利用される利用者の
もので，製品の取得者，供給者，開発者，運用者及び保守者の視点である。
6.2.2
評価要求事項の精密化 評価要求分析の活動は，次の副活動からなる。
− 依頼者が，その要求事項を自らが提案する。
− 依頼者が，評価範囲を述べる。
− 評価目的を分析し，評価要求事項を記述するときに，評価者が依頼者を支援する。
− 評価者が，評価の確信度及び厳密度の程度を説明する。
− 評価要求事項について合意する。
評価依頼者は，依頼者としての要求事項，すなわち，評価要求事項の初版を提供しなければならない。
評価者は，対象製品の評価目的を分析し，評価要求事項を記述するときに，依頼者を支援するとよい。
評価の対象とされた製品は，その製品目的の一般的記述だけでなく，製品の適用分野についても，考慮
したほうがよい。安全性，セキュリティ，経済的又は環境的側面のような重大な課題を考慮してもよい。
適用可能な規則及び法規を考慮するとよい。
依頼者は，依頼者の要求事項の中で，評価をどれだけ網羅的に行うかに関する要求を記述しなければな
らない。同時に，評価者は，ソフトウェア製品の品質を真に確信できるものにするために，それに十分な
程度の厳密さをもった評価となることを確実にするのがよい。したがって，評価者及び依頼者は，評価プ
ロセスを続けるための前提条件として，評価要求事項に関して合意しなければならない。
備考 ソフトウェア製品又はその構成要素の認定のために，評価の依頼者は，製品への要求事項を含
めた規定文書を仕様化する。
6.2.3
評価要求事項の内容 評価要求事項は，評価の対象にされた製品の適用分野の一般的記述を含まな
ければならない。製品目的の一般的記述を提供しなければならない。
また，評価要求事項は，例えば，JIS X 0129-1 で定義されているような品質特性を参照して列挙した，
品質要求の一覧から構成されなければならない。さらに，これに関連して品質副特性を用いてもよい。要
求事項が JIS X 0129-1 で定義されていない品質特性を参照するような場合には，公に認められ得る文献に
定義されているような品質特性を参照しなければならない。
依頼者及び評価者は，
その品質特性について，
相互に理解していることを明示するのがよい。
評価要求事項の中にあるそれぞれの品質特性間の相対的な重要度も，与えられるべきである。異なった
評価要求事項によって，製品の幾つかの部分を評価する必要が生じたとき，品質特性間の相対的な重要度
を適用する。この重要度を表現するために，
附属書 B に示されている評価水準の概念を用いてもよい。
8
X 0133-5 : 1999 (ISO/IEC 14598-5 : 1998)
評価要求事項の各要求に対して，評価対象のソフトウェア製品及びその構成要素に含まれる情報の仕様
書を，提供しなければならない。この仕様書は，ソフトウェア工学の標準を可能な限り参照するとよい。
さらに，構成要素で用いる形式化の種別又はそれらを作成するときに用いたソフトウェア開発方法の種別
を，この仕様書に記述してもよい。
備考 評価のために要求された情報の範囲及び形式は，一方では，評価費用に，他方では，製品の特
定の品質要求事項の重要度と関連させることができる。
6.2.4
承認及び報告 評価要求事項は，依頼者と評価者とで共同審査した結果として，承認されなければ
ならない。
評価要求事項は，評価報告書及び評価記録の中に含まれなければならない。
6.3
評価の仕様化
6.3.1
評価の仕様化の目的 評価の仕様化の目的は，評価の対象にされた製品及びその種々の構成要素に
対して実施する評価及び測定の範囲を定義することにある。評価仕様書の詳細さの水準は，その基準とし
て，評価の反復性及び再現性を確保できるような水準にまで，詳細化するのがよい。
備考1. 仕様化された評価は，非決定論的な場合もある。そのような場合でも，それは，評価を反復
又は再現したときに，得られる結果が，一貫性をもつようにするのがよい。
しかし，評価仕様書には，評価者の占有している情報を含めないのがよい。
備考2. 評価仕様書を含めた評価報告書を，評価依頼者に引き渡すが，評価依頼者は，その評価報告
書を他の組織に公開する場合もある。そのため，評価者が占有している幾つかの情報を保護
することは，推奨できない。
6.3.2
評価仕様の精密化 評価を仕様化する活動は，次の三つの副活動で構成される。
− 製品記述を分析する。
− 製品及びその構成要素に対して実施する測定方法を仕様化する。
− 評価要求事項を参照して仕様を検証する。
備考 検証の副活動は，潜在している問題を可能な限り早期に識別するため，他の活動と並行して行
う場合がある。
6.3.2.1
製品記述の分析 依頼者は，評価対象の製品に関する記述を提供しなければならない。この記述
の目標は，次の事項である。
− 評価の範囲を定義できるようにする。すなわち，製品の一部を構成すると考えられるソフトウェア
製品構成要素の識別と，製品の理解を容易にするために参照するが，製品の一部ではないと考えら
れる構成要素との識別である。
備考1. そのような識別は，文書のどの部分が製品に含まれるか，どの機能が製品に実装されている
か，又は実装されていないかを特定することに基づいてもよい。
2.
評価の対象となるソフトウェア製品が，ハードウェア，他のソフトウェア製品，ネットワー
ク又は組織から成るシステムに組み込まれる場合には，そうした製品の分離が必ずしも明確
ではないので，評価する範囲を定義することが重要になる。
− 評価者が，評価対象の製品構成要素を識別できるようにする，製品構成要素の構造を理解する，及
び提供される情報とその情報にアクセスする方法を識別する。
この記述は，実際に評価の対象となる製品構成要素の一覧，製品の構造の根拠説明及び製品に関連した
文書類の一覧を含まなければならない。一覧として列挙されている構成要素は，列挙する必要のないよう
な他のより小さな構成要素を含む場合もある。一覧の中の構成要素及び製品に関連した文書のそれぞれに
9
X 0133-5 : 1999 (ISO/IEC 14598-5 : 1998)
ついて，次の情報を提供しなければならない。
− 構成要素の性質についての記述
− 構成要素で用いられている形式性についての情報
− 構成要素の規模に関する情報
− 他の構成要素との関係
− 評価者に対する製品構成要素の利用可能性についての情報
いずれの場合も，適切なソフトウェア工学の規格を参照するのがよい。
評価者は，製品記述が前述した製品記述への要求事項に適合しているかどうかを確認しなければならな
い。
評価者は，評価要求事項の中から識別された構成要素間の関係を識別するために，構成要素の記述と同
様に，提供された根拠説明についても，分析しなければならない。
備考3. 評価要求事項の中では，構成要素は，総合評価される品質特性に関して，論理的な観点から
仕様化されていてもよい。製品記述では，実際の構成要素を一覧として列挙する。幾つかの
実際の製品の構成要素は，評価要求事項で複数の構成要素内に存在するものとして，仕様化
した情報を含んでいることがある。
4.
この情報は，どの評価が実施できるのかを識別するために必要である。これは，評価要求事
項と合わせて，評価仕様書を構築するために使われることになる。
5.
製品の開発者と協議することによって，製品記述の分析が改善される場合がある。これは，
簡単な監査の実施によって，評価者が，要求される深さまでの評価が可能かどうかを決定す
る機会を得られる。
6.3.2.2
測定の仕様化 評価者は，評価要求事項を製品それ自体及び製品記述で識別される種々の構成要
素に割り付けなければならない。これは，評価要求事項を，例えば，副特性に展開するのがよい。この展
開を行った結果は，評価対象の構成要素ごとに異なる展開結果になる場合がある。この段階では，製品記
述に一覧として列挙された幾つかの構成要素に関しては，それより深く考慮しなくてもよい。
評価者は，選択した製品及び構成要素の特性，副特性及び属性を総合評価するために，用いようとする
測定を仕様化しなければならない。これらの仕様は，次のような記載の種別を組み合わせて，形式を整え
るのがよい。
− 製品又は識別された構成要素の集合に対して適用する測定法を形式化した仕様書。これには，測定
結果を評価報告書の中で提示するための手順指示も付記する。
− 検証する予定のソフトウェアの要求事項及びそれらの要求事項を検証するために用いる手続の詳細
について記述している製品構成要素の記載事項への参照。
− ソフトウェア製品の要求事項において，ソフトウェア要求文書から欠落している要求事項，又は評
価のために詳細に説明される必要のある要求事項，及びこの要求事項を検証するために用いる手続
の詳細記述。
− 付加的なソフトウェア要求事項を提供し，要求事項を検証するために用いる手順の詳細について記
述している識別された規格又は法規の中の記載事項への参照。
これらの各記載事項に対して，測定又は検証される構成要素の性質及び構成要素で使われる形式を参照
するのがよい。
この作業のために，評価者は，事前に定義した評価仕様書を利用してもよい。これらの基本的な仕様書
は，JIS X 0133-6 で推奨している評価モジュール仕様書の形式にすることが望ましい。
10
X 0133-5 : 1999 (ISO/IEC 14598-5 : 1998)
6.3.2.3
評価仕様の検証 評価者は，評価要求事項と照合して，評価仕様書の検証を実施しなければなら
ない。
評価者は，製品記述の中に一覧として列挙された構成要素から，評価要求事項に従って評価を実施する
ために，必要な情報がすべて提供されるようになっているかを，確認しなければならない。評価者は，仕
様化された測定方法及び検証が，評価要求事項で表現されているような評価の目的に十分に合致している
かを検証しなければならない。
最初の確認によって，製品記述の中に一覧として列挙されている構成要素の中から，抜けている情報を
検知することを促す。これは，次のような方法で解決される場合がある。
− 抜けている情報を含んでいる製品構成要素への参照記述を，製品記述に付加する。これは，依頼者
が評価実施のために，他の構成要素と併せて，この構成要素を評価者に提供することを意味する。
− 評価の目的を縮小する。これは，評価要求事項を見直すことを意味する。
次の確認は，評価仕様書の中で提案している測定方法及び検証がその時点での技術的な状況に整合して
いるかを，確認することを目的としている。これは，次のような方法で解決される場合がある。
− 関連する測定方法の規格を識別する。
備考 JIS X 0133-6 がそうした規格として利用できる場合がある。
− その分野で適切に認められた文献を参照して，正当さの説明を詳細に提供する。この正当さの説明
は，評価仕様に含めなければならない。
6.3.3
評価仕様書の内容 評価仕様書は，次の事項を含まなければならない。
− 評価の範囲。これは，製品記述中で識別された製品構成要素を参照している。
− 相互参照。これは，評価を実施するために必要な情報と，製品記述の一覧に記載されている製品構
成要素及び他の関連文書と相互の参照関係を示している。
− 実施する測定方法及び検証の仕様並びにその対象となる製品構成要素への参照。
− 測定方法及び検証の仕様と評価要求事項との対応付け。これは，一覧に載せた測定方法及び検証そ
れぞれについて，規格への参照又は正当さを説明している。
6.3.4
承認及び報告 評価仕様書を，依頼者と評価者との共同審査の結果として，承認しなければならな
い。
評価仕様書は，評価報告書及び評価記録に含められなければならない。これらに加えて，6.3.2.3 で詳細
に示されたような評価要求事項に変更があれば，
どんな変更も，評価記録の中で報告しなければならない。
6.4
評価の設計
6.4.1
評価設計の目的 評価の設計では，評価仕様書の中で詳細に記載された測定を実施するために，評
価者が用いる手順を文書化しなければならない。評価者は，仕様化した評価を実施するために，必要とな
る資源及びそれらの資源の様々な行為への配分について，
記述した評価計画書を作成しなければならない。
備考1. ここで考慮する資源には，例えば，評価行為を実施する人的な資源，計算機資源又はオフィ
ス空間などがある。
評価計画書の詳細さの水準は，有効な方法 (competent way) で行為を確実に行えるような水準まで，詳
細化するのがよい。
備考2. 評価計画書は，通常，評価者が所有するノウハウをある程度含んだものになる。
6.4.2
評価計画の精密化 評価計画書を作成する活動は，次の三つの副活動で構成されている。
− 評価方法の文書化及び計画書草案の作成
− 評価計画書の最適化
11
X 0133-5 : 1999 (ISO/IEC 14598-5 : 1998)
− 利用可能な資源に合わせた評価行為のスケジュール作成
6.4.2.1
評価方法の文書化及び計画書草案の作成 この活動の目標は，仕様化された測定法又は検証法を，
評価対象の種々の製品構成要素の形態と結び付けることである。これは，これらの構成要素で仕様化され
た測定法又は検証法を実際に行うときに，適用する方法を詳細に文書化するためである。
評価者は，評価仕様書で仕様化された測定法又は検証法についての，技術的な制約事項を分析しなけれ
ばならない。技術的な制約事項には，これらに限られるわけではないが，次のようなものを含む場合があ
る。
− 製品構成要素で用いられている形式性
− 製品構成要素が電子的な形態であるか又は紙の上の形態であるかという事実
− 事前に定義されている評価方法の存在
備考1. 事前に定義されている評価方法は，JIS X 0133-6で推奨されている評価モジュールの実現形態
で文書化される場合がある。そうした評価モジュールの実現は，評価仕様書の中で利用する
ことにした評価モジュール仕様書と関連付けるとよい。
− 評価技法を支援するツールの利用可能性
− 製品構成要素の規模
評価仕様書で詳細化された測定法及び検証法それぞれについて，評価者は，適切な評価法を文書化しな
ければならない。評価法がソフトウェアツールの利用を前提とする場合は，このツールを評価計画書の中
で識別しておかなければならない。そうしたツールの識別では，ツールの名称，版及び出所（例えば，ツ
ールの供給者）が，少なくとも，分かるようにしなければならない。
備考2. 評価要求事項が評価水準について言及する場合は，参考情報の附属書 B.2にある，評価水準
及び考慮される品質特性に対応してどのような評価技法が利用されるかを示した手引きが参
考になる。
評価法についての記述は，評価法を適用する製品構成要素の識別をして，完成させなければならない。
評価仕様書が，評価報告書に評価結果を載せる前に評価結果を解釈するため，測定法の専門的な分析を
必要とする場合は，解釈手順を評価計画書に詳細に記載しなければならない。この仕様書の内容には，評
価記録中に手順実施の重要な実施説明 (significant account of the procedure performance) を行うことを含ん
だ手順指示がなければならない。
評価するために，製品のプログラムを実行することを計画している場合は，実行に必要な環境及び環境
を実際に利用可能にするための準備について，記述しなければならない。
6.4.2.2
測定法の最適化 この段階では，評価法は，評価仕様書の要素と関連付けられており，それら要
素自体は，評価要求事項と関連付けられている。それぞれの要素的な評価法は，評価対象として受け付け
られた製品構成要素に対して適用するために，計画される。幾つかの複数の要素的な評価法が，同一の製
品構成要素又は共通した部分から成る構成に対して，適用されることが起こり得る。
評価計画書草案を，評価行為が重複するのを避けるために，審査しなければならない。これは，誤りを
犯す危険を低減するために，及び計画された評価者の労力を低減するために必要である。
6.4.2.3
評価行為のスケジュール作成 評価行為の重複がいったん除去されれば，評価者は，計画された
行為のスケジュールを作成しなければならない。
評価者は，要員，ソフトウェアツール及び計算機といった資源の利用可能性を考慮しなければならない。
評価者は，製品及びその製品構成要素の納入のスケジュールについて，依頼者と合意しなければならな
い。納入される製品構成要素の媒体，書式及び部数を詳細に取り決めなければならない。
12
X 0133-5 : 1999 (ISO/IEC 14598-5 : 1998)
評価期間中の会議についての要求を識別しなければならない。依頼者がソフトウェア製品の開発者でな
いときは，評価者と開発者との関係を識別しなければならない。特に，開発者の支援が必要な事項を識別
しなければならない。そうした支援には，例えば，教育訓練，非公式な討議又はオフィスの利用を含む場
合がある。
必要に応じた開発及び運用サイトの利用 (access) について，必要な資源も含めて，詳細に取り決めなけ
ればならない。
6.4.3
評価計画書の内容 評価計画書は，評価法に関する文書及び評価者の行為のスケジュールから構成
しなければならない。
評価計画書の中の幾つかの評価法に関する文書は，評価者個人の資料を参照して構成してもよい。その
ような場合には，評価者は，評価仕様書の中の対応する要素を参照して，方法が適切で十分に適用できる
ものになるように，正当化することが望ましい。
6.4.4
承認及び報告 評価計画書について，依頼者と評価者とで共同審査を行い，その結果として，評価
計画書を承認しなければならない。
評価計画書は，評価記録に含まれなければならない。評価法の文書又はそれらへの参照引用は，評価法
が適用される製品構成要素と併せて，評価報告書に含まれなければならない。
6.5
評価の実行
6.5.1
評価実行の目的 評価実行の目的は，評価仕様書に記述され，評価計画書の中に計画された評価要
求事項に従って，ソフトウェア製品を測定し，検証するために行われた行為から結果を得ることである。
これらの行為を行うことは，評価報告書草案及び評価記録を完成に導く。
6.5.2
評価者行為の実施 計画された行為を実施するために，評価者は，次のことを行わなければならな
い。
− 依頼者から与えられた製品構成要素を管理する。
− 評価行為によって作られたデータ（報告書及び記録を含む。
）を管理する。
− 評価行為を実施するために使用されるツールを管理する。
前記に加えて，特定の準備がなされるならば，評価者は，次のことを行ってもよい。
− 評価者の構内の外で実施される評価行為を管理する。
− 特定の評価技術の使用によって，暗黙のうちに含まれた要求を管理する。
6.5.2.1
製品構成要素の管理 依頼者は，評価計画に示されたスケジュールに従って，製品の構成要素及
び製品にかかわる文書を評価者に対して納入したほうがよい。
評価者は，すべての製品構成要素及び製品文書を登録しなければならない。その規模及び複雑さを判断
し，必要と判断した場合は，正式の構成管理を行うのがよい。
登録情報は，少なくとも，次のものでなければならない。
− 構成要素又は文書の識別子
− 構成要素名又は文書の表題
− 文書の状態（特異な例外又は物理状態を含む。
）
− 依頼者によって与えられた版，構成，日付などの情報
− 受領日付
すべての製品構成要素及び製品にかかわる文書類の機密性は，特に依頼者との間で除外するとの合意が
ない限り，評価者によって守られなければならない。
備考 機密性の要求事項は，製品にかかわるすべての情報の受領，取扱い，貯蔵及び処分を含む評価
13
X 0133-5 : 1999 (ISO/IEC 14598-5 : 1998)
作業の多くの局面に関係する。
6.5.2.2
評価データの管理 評価行為の実施は，通常，評価報告書に含まれる結果を作り出す目的で中間
データを入手し，これらのデータを解釈するために，製品とその構成要素を測定することから，成り立っ
ている。中間データは，例えば，数，図，ダイアグラム，構成要素からの抜粋，評価のために作られた形
式モデルなどのさまざまな性質のものであってもよい。
中間データの機密性は，対象の構成要素及び文書と同じ方法で，守らなければならない。さらに，評価
者は，これらのデータのあらゆる偶然的又は故意の変更を妨ぐために，あらゆる必要な努力をしなければ
ならない。特に，中間データの量及び複雑さが大規模なとき，中間評価結果と評価された製品との間に一
貫性を保持するために，正式な構成管理が使われるのがよい。
評価者は，それぞれの解釈の基礎となっているデータは，どんな中間データをも，評価記録の中に含め
なければならない。解釈するプロセスの中でなされた決定も，同じく，評価計画で指定されるように，評
価記録に含まなければならない。
6.5.2.3
ツール使用管理 評価活動は，生データを集めるため又は中間データの解釈をするために，ソフ
トウェアツールを使用してもよい。
備考1. そのようなツールは，コード測定法を計算するためのソースコード分析ツール，形式モデル
を作成するための CASE ツール，実行可能なプログラムを走らせるための試験環境，測定値
の合成を生成するための帳票入力集計シートなどである。
評価行為にツールを使用したとき，評価報告書にツールの参照を含めなければならない。参照は，ツー
ル及びツールの供給元の識別子及びツールの版から構成されていなければならない。
評価記録には，使用したツールの更に詳しい参照が含まれなければならない。参照には，ツールの詳細
な構成と同一の中間結果を得るために，評価行為を繰り返すことができる必要で適切な情報を含まなけれ
ばならない。
備考2. この反復性の要求は，5.3で規定した要求よりも強いものである。というのは，評価報告書に
含まれない中間結果に言及しているからである。
備考3. 評価記録に実行可能なツールの複製を含むことが適切である場合もある。
評価者は，実際に使用されるツールが本来あるべき動作をすることを確実にするために，あらゆる必要
な努力をするのがよい。評価者は，評価プロセスで使用されるツールの妥当性確認を行うために，実行す
る行為の記録を保持するのがよい。
備考4. そのような記録は，例えば，ソフトウェアの既導入数，ツールを使用した時間合計に基づく
ことができる。
評価スタッフは，ツールを適切に使用するよう訓練されなければならない。
6.5.2.4
現場の評価 評価行為が，評価者の構内で実施できない場合もある。評価行為は，例えば，開発
者の現場又はソフトウェア製品が運用している現場で実施してもよい。
この場合には，評価者は，遂行されるあらゆる評価行為を制御しなければならない。特に，評価者は，
評価結果を無効にするような，いかなる事態も回避しなければならない。
評価者は，評価結果及び中間評価結果の機密性が保持されることを確実にするために，あらゆる必要な
努力をしなければならない。'
6.5.2.5
特定の評価技法への要求事項 評価計画で製品の実行可能なプログラムが試験されるよう要求さ
れているときは，試験対象の構成及び試験の環境が，正確に記録されなければならない。
評価行為が文書の点検を要求するときは，チェック一覧の使用が望ましい。
14
X 0133-5 : 1999 (ISO/IEC 14598-5 : 1998)
6.5.3
審査及び報告 評価の実行過程で，中間評価結果及び最終評価結果が生成される。最大限の客観性
を達成するには，実際に評価行為を行った人とは別の評価スタッフが，評価行為を確認するのがよい。
すべての評価結果は，審査されなければならない。審査の目的は，考慮された評価行為の性質に依存し
ている。審査は，関係した評価行為の実行に直接関与しない人が，少なくとも一人は出席しなければなら
ない。審査報告は，評価記録に含まれなければならない。
いったん審査されたら，評価結果は，評価仕様で規定されているとおりに，評価報告に含まれなければ
ならない。さらに，評価計画が指定しているときは，その中間結果又は解釈の決定は，評価報告に含まれ
なければならない。
6.6
評価の終結
6.6.1
評価の終結の目的 評価の終結の目的は，評価報告書の審査及び評価データの処置から構成される。
6.6.2
評価報告書の共同審査 評価報告書草案は，評価の依頼者に納入されなければならない。依頼者と
評価者との共同審査は，組織化されるのがよい。依頼者は，評価報告書に対してコメントする機会を与え
られるのがよい。もし，そのようなコメントがなされたら，それは，評価報告書の特定の節に含めるのが
よい。その後，評価報告書は，依頼者に納入されなければならない。
6.6.3
評価データ及び文書類の処分 いったん評価報告書が公式に依頼者に納入されたら，評価者は，評
価に関係しているデータを処分しなければならない。データの種別に応じて，次の方法の一つで処分され
なければならない。
− 評価のために提出されていた文書類は，依頼者に返却されるか，
指定された期間内は保存されるか，
又は確実な方法で廃棄されなければならない。
− 評価報告書及び評価記録は，指定された期間内は保存されなければならない。
− 他のすべてのデータは，指定された期間内は保存されるか，又は確実な方法で廃棄されなければな
らない。
幾つかのデータについて，指定された保存期間が過ぎた場合には，それは，再び指定された期間は保存
されるか，又は確実な方法で廃棄されなければならない。
依頼者が明確に同意しているならば，中間評価結果は，評価技法及びソフトウェア測定法を調査するた
めに，評価者によって使用されてもよい。
15
X 0133-5 : 1999 (ISO/IEC 14598-5 : 1998)
附属書 A（規定） 評価報告書のテンプレート
この附属書は，評価報告書の構成及び内容についての手引きを提供するものである。それは，この規格
の 6.で示す報告に関する要求事項を要約したものである。加えて，幾つかの補助的な情報が，報告に含め
られるために必要とされる。
次の箇条は，評価報告書を構成する箇条の内容について規定したものである。
A.1
第 1 節−識別 評価報告書のこの節は，実施された評価に関する識別情報を含む。
評価者の識別
この箇条は，評価者に関する次の情報を含まなければならない。
− 評価者の組織の名称
− 評価者の組織の住所
− 評価が実施された場所（上記の住所と異なっている場合）
− 評価責任者の氏名
評価報告書の識別
この箇条は，報告書の識別を含まなければならない。
− 報告書の固有の識別（例えば，一連の番号）
− 報告書のページ数
報告書の各ページに，この情報は，複写されなければならない。各ページは，例えば，ページ番号を使
用して，唯一に識別されなければならない。
依頼者と供給者の識別
この箇条は，評価の依頼者及び評価されたソフトウェア製品の供給者に関する次の情報を含まなければ
ならない。
− 依頼者の組織の名称
− 依頼者の組織の住所
− ソフトウェア製品の供給者の名称（上記の名称と異なっている場合）
− ソフトウェア製品の供給者の住所（上記の住所と異なっている場合）
A.2
第 2 節−評価要求 評価報告書のこの節は，この規格の 6.2 に規定しているように，評価要求を含ま
なければならない。特に，含まなければならないものとして，次の事項がある。
− 製品の適用分野についての一般説明
− 製品の目的についての一般説明
− 可能ならば，品質特性及び評価水準への参照を含めた，品質要求及び評価された製品情報の一覧
A.3
第 3 節−評価仕様 評価報告書のこの節は，この規格の 6.3 で規定しているように，評価仕様を含ま
なければならない。特に，含まなければならないものとして，次の事項がある。
− 製品説明に言及している評価の範囲。製品説明が公式に利用できる文書でない場合には，報告書に
附属書の形で添付されなければならない。
− 評価要求で要求された情報と製品構成要素との相互の参照
16
X 0133-5 : 1999 (ISO/IEC 14598-5 : 1998)
− 測定及び検証についての仕様
− 測定及び検証についての仕様と評価要求との対応
A.4
第 4 節−評価方法 評価報告書のこの節は，この規格の 6.4 で規定しているように，評価を実施する
ために使用された評価方法の文書化を含まなければならない。
評価方法が他で文書化されている場合には，
その文書への参照を単に含めるだけでもよい。
備考 評価方法への参照は，それが規格（評価モジュール）である場合又は自ら作成して所有してい
る場合に，常に，使用される。
ここに含まれるそれぞれの評価方法には，その評価方法を適用する対象がどの製品構成要素であるか分
かるように，製品構成要素の識別が，与えられなければならない。
A.5
第 5 節−評価結果 評価報告書のこの節は，この規格の 6.5 に規定しているように，評価結果を含ま
なければならない。特に，次の事項は含まなければならない。
− 評価結果それ自体
− 必要な場合には，中間結果又は解釈の決定
− 評価中に使用されたツールへの参照
17
X 0133-5 : 1999 (ISO/IEC 14598-5 : 1998)
附属書 B（参考） 評価水準
評価される場合の品質副特性と測定法との関係を含めて，
品質特性の一般仕様について，
（この文書が書
かれた時点の技術水準によれば）
，意見の一致を得ることは難しいと思われるので，評価要求は，選択され
た品質特性に対する評価水準を記述してよい。
評価水準は，ISO/IEC 15026 “Information technology−Software Integrity−System and software integrity
levels”
で定義されているソフトウェアインテグリティ (Software Integrity) 水準に関連するものである。も
し，ソフトウェアインテグリティ水準が評価の対象にされたソフトウェア製品へ割り当てられているなら
ば，このソフトウェアインテグリティ水準は，評価要求を選択するために，使用してもよい。特に，ソフ
トウェアインテグリティ水準に関連させた厳密さの度合いは，評価技法の選択のための手引きとして使用
してもよい。
評価水準は，一方では，所定の特性に対して依頼者によって与えられた重要性に関連している。選ばれ
た水準は，ソフトウェア製品の仮定した使用法及び環境（例えば，安全条件，セキュリティの制約，経済
的なリスク，適用の制約）に関連させて意味付けしたほうがよい。
他方で，評価水準は，適用される評価技法及び達成される評価結果に関する評価の深さ又は徹底さを定
義する。その結果，様々な異なった水準での評価は，ソフトウェア製品の品質に様々な異なった水準の信
頼を与える。水準は，それぞれの特性のために，独立して選択することができる。
この附属書では，A，B，C 及び D の四つの水準を提案している。水準は，最も高い水準 A から最も低
い水準 D の階層で構成する。水準 A では（妥当な量の工数及び時間を考慮に入れて）
，最も厳密な評価技
法が，最高の信頼を与えるために適用される。水準 D へと下がって行くと，次第により厳密でない方法が
使用され，したがって，通常は，評価への注力は少なくなる。
それぞれのソフトウェアの特性に対する評価水準は，大規模な製品の中の異なる構成要素別に変えても
よい（例えば，高信頼性を要求されている重要な構成要素は，システムの他の構成要素から分離されてい
るのが好ましい。
）
。
この附属書の最初の節 B.1 は，製品が使用される場面での，機能として評価水準を選ぶための手引きを
提供する。第 2 節 B.2 は，評価技法を選択するのを助ける。
B.1
評価水準の選択 評価水準は，対応する品質特性のそれぞれに対して独立して選択されてもよい。水
準を選択する場合には，幾つか複数の局面が考慮されるのがよい。例えば，製品の適用において，安全性，
経済性，セキュリティ，環境及び市場のどの局面が重要視されているか。
対応する品質特性に関し，その特性に関係した要求に製品が適合しないことからくるリスクは，高品質
による利益と同様に，すべての対応する局面に対して，総合評価されるのがよい。これらの幾つかの局面
に対して，次の表で，リスクと選ばれた水準との関係を与える。幾つかの局面を考慮する必要があるとき，
その中で最も厳しい水準が選択されるのがよい。
経済的なリスク及び販売利益の課題に対しては，評価費用が考慮されるのがよい。
18
X 0133-5 : 1999 (ISO/IEC 14598-5 : 1998)
安全面
評価水準
影響
水準 D
資産に対する小さな損害；人に対するリスクなし
水準 C
資産に対して損害あり；人に負傷のおそれあり
水準 B
人間の生命に対する危険のおそれあり
水準 A
多くの人々が死亡
経済面
評価水準
影響
水準 D
無視しうる経済的な損失
水準 C
重大な経済的損失（企業が影響を受ける）
水準 B
広範な経済的損失（企業が危険に直面する）
水準 A
金融の大惨事（企業が存続しない）
セキュリティ面
評価水準
影響
水準 D
特定のリスクが識別されない
水準 C
エラーリスクに対する保護
水準 B
重大なデータとサービスの保護
水準 A
戦略的なデータとサービスの保護
環境に関する面
評価水準
影響
水準 D
環境的なリスクなし
水準 C
局地的な汚染
水準 B
回復可能な環境の損害
水準 A
回復不可能な環境の損害
B.2
評価水準からの評価技法の選択 幾つかの評価要求事項を満たす評価仕様を綿密に作るために，測定
法を仕様化する必要がある。測定法は，品質特性及び評価水準に従って選択される評価技法に基づいてい
る。JIS X 0129-1 が規定するそれぞれの品質特性について，低い要求水準からより高い要求水準へランク
付けされた，次の評価技法の一覧が提案されている。
機能性
− 機能試験又はブラックボックス試験
− チェック項目一覧で管理された開発文書の点検
− 試験網羅基準を用いた単体試験
信頼性
− 特定のプログラム言語の使用環境の検証
− ソフトウェア設計及びコードにおける障害許容性構造の分析
− 信頼性成長のモデリング
使用性
− 利用者インタフェース及び文書の点検
− インタフェース標準への適合性の検証
− 実際の利用者と行う試行
効率性
19
X 0133-5 : 1999 (ISO/IEC 14598-5 : 1998)
− 実行時間の測定
− ベンチマーク試験
− アルゴリズムの複雑度を決定するための設計の分析
保守性
− チェック項目一覧で管理された開発文書の点検
− コード測定法及びプログラミング規則の検証
− 開発文書の要素間での追跡可能性の分析
移植性ソフトウェア導入手順の分析
− プログラミング規則の検証
− ソフト
− ウェア設計の分析
20
X 0133-5 : 1999 (ISO/IEC 14598-5 : 1998)
附属書 C（参考） ソフトウェア製品構成要素
次に提案されている項目一覧は，評価に使用してもよい情報の種別を記述したものである。この情報分
類のモデルは，ソフトウェアの文書化に特別な構造を要求しているものではない。唯一の要求は，情報の
種別を評価対象から引き出し，この情報分類のモデルへ対応付けて配置できることである。
ソフトウェア要求仕様書：ソフトウェア及びその外部インタフェースの本質的な要求事項（機能，性能
設計の制約及び属性）の文書。
ソフトウェア設計記述：分析，計画，実施及び意思決定するために作られたソフトウェアの説明。ソフ
トウェア設計記述は，ソフトウェア設計情報を伝達する手段として使われ，システムの青写真又はモデル
と考えてよい。
プログラム記述：ソースプログラムを理解するために必要な情報。
ソースプログラム：計算機によって実行されるために，コンパイルされるか，アセンブルされるか又は
翻訳される必要のある計算機プログラム（又はコード）
。
実行可能なコード：計算機上で直接実行ができる計算機プログラム（又はコード）。
利用者文書：望まれる結果を得るために，プログラムを使用する方法が記述されている文書。
ソフトウェア要求審査報告：システム要求への対応及びその解釈を評価するために，及び，製品構成要
素の予備設計へと進むべく満足できる基礎を形作っているかを決定するために，一つ以上のソフトウェア
構成要素について，仕様化された要求事項の審査について文書化したもの。
ソフトウェア要求検証報告：与えられた条件を満足するかどうかを決定するために，ソフトウェア要求
仕様を評価した結果の文書。これは正しさを正式に証明するものとみてよい。
プログラム試験計画書：意図した試験活動の範囲，アプローチ，資源及び工程について記述している文
書。この文書は，試験項目，試験されるものの特質，試験のための作業，それぞれの作業を行う人及び偶
発的な出来事への対応計画を必要とするあらゆるリスクを識別している。
要求事項測定報告：ソフトウェア要求仕様書に対する測定法の適用についての文書。
ソフトウェア設計審査報告：ソフトウェア設計が，プロジェクト関係者，管理者，利用者，顧客又は他
の利害関係者に提示され，意見又は承認を得るためのプロセス又は会議の結果についての文書。
ソフトウェア設計検証報告：ソフトウェア要求仕様書によって与えられた条件を満たすかどうかを決定
するために，ソフトウェア設計を評価した結果についての文書。これは正しさを正式に証明するものとみ
てよい。
設計測定報告：ソフトウェア設計仕様書への測定法の適用についての文書。
単体試験計画：意図された単体試験活動の範囲，アプローチ，資源及び工程を記述している文書。この
試験計画は試験対象の特質が識別され，試験の集合が設計されている。
プログラム審査報告：ソースプログラムが，プロジェクト関係者，管理者又は他の利害関係者に提示さ
れ，意見又は承認を得るためのプロセス又は会議の文書。
プログラム検証報告：プログラム検証の文書。それは，プログラムの部分的な正しさ及び実行の中断の
正式な証明を含んでいる。
単体試験報告：一つの試験単位のために実行された試験のやり方及び結果を記述している文書。
プログラム測定報告：プログラム，特にソースコードに対する測定法の適用についての文書。
21
X 0133-5 : 1999 (ISO/IEC 14598-5 : 1998)
プログラム試験報告：プログラムのために実行された試験のやり方及び結果を記述している文書。
利用者文書審査報告：利用者文書が，プロジェクト関係者，管理者，利用者，顧客又は他の利害関係者
に提示され，意見又は承認を得るためのプロセス又は会議の文書。
システム要求分析書：システム，ハードウェア又はソフトウェア要求事項を定義するための，利用者の
必要性の調査結果の文書。
システム仕様及び設計書：システムに対する要求事項を規定する仕様文書。それに含まれる典型的なも
のは，機能的な要求，性能的な要求，インタフェースの要求，設計要求及び開発規格である。システム設
計を記述した設計文書の典型的な内容は，システムアーキテクチャ，制御ロジック，入力・出力形式及び
インタフェースの説明である。
システムマニュアル：導入マニュアル，診断マニュアル，操作マニュアル，支援マニュアルなどを含む
マニュアルの集合。
システム：特定の機能又は機能の集まりを達成するために，組織化された構成要素の集まり。それは，
ハードウェア及びソフトウェア構成要素の両方を含んでもよい。
システム審査報告：システム要求審査報告書及びシステム設計審査報告書を含む。
システム検証報告：システム要求検証報告書及びシステム設計検証報告書を含む。
システム試験計画：意図した試験活動の範囲，アプローチ，資源及び工程について記述している文書。
この文書は，試験項目，試験されるものの特質，試験のための作業，それぞれの作業を行う人及び偶発的
な出来事への対応計画を必要とするあらゆるリスクを識別している。
システム試験報告：統合化されたシステム全体の試験結果を記述している文書。
ソフトウェア仕様化の方法及びツールについての説明：ソフトウェアを仕様化するために，使用する方
法及びツールについて記述している文書類。
設計の方法及びツールについての説明：ソフトウェアを設計するために，使用する方法及びツールにつ
いて記述している文書類。
プログラム言語及びコンパイラの説明：ソフトウェアの開発に使用されるプログラミング言語（特に用
いられる特定の特殊言語）及びコンパイラを識別している文書。
ソフトウェア開発計画：ソフトウェア開発プロジェクトによって守られる技術的及び管理的なアプロー
チを記述している文書。
この計画は，典型的には，なされる仕事，要求される資源，使用される方法，守られる手順，守られる
工程及びプロジェクトが組織化される方法を記述する。
品質保証計画：ソフトウェアの品目又は製品が，確立された技術的な要求事項に適合していることにつ
いての適切な確実性を与えるために，必要なあらゆる活動を記述している文書。
構成管理計画：計算機プログラム製品の，発展しつつある構成の視覚化を保ち続けるために要求されて
いるソフトウェア工学，及び支援活動によってなされるべき活動を明記している文書。その計画は，それ
ぞれの構成に対する変更を評価し，実行するプロセスでの管理を支援し，並びにその変更が適切及び完全
にそれぞれの計算機プログラム製品へ取り入れられるということを確実にするものである。
ソフトウェア開発報告：プロジェクト活動及びソフトウェア開発計画に記述されている活動の変更の記
録を含んだ文書。
品質保証報告：品質保証活動及び品質保証計画に関する変更の記録を含む文書。
構成管理報告：構成管理活動の記録を含む文書。それは構成制御情報を含む。
22
X 0133-5 : 1999 (ISO/IEC 14598-5 : 1998)
次の図は，提案された情報の分類について要約したものである。
図 2 情報の分類
23
X 0133-5 : 1999 (ISO/IEC 14598-5 : 1998)
附属書 D（参考） 依頼者と評価者との相互の働きかけ
評価依頼者及び評価者は，評価の過程で，相互に働きかけを行う。プロセスは，基本的及び連続的な相
互の働きかけに分割され，いずれも個別の契約として実行してもよい。すでに終了した段階についての責
任を負うものの，それ以上の義務を負うことなしに，依頼者及び評価者は，相互の働きかけを終了させる
ための多くの機会をもつ。
次のような手順上の相互の働きかけをするのがよい。
相互の働きかけ 1：依頼者は，評価要求事項を指示し，これらの要求事項は，評価者によって受け入れ
られる。製品が記述され，識別され，そして評価水準が合意される。依頼者は，要求された資材を供給す
ることに同意する。依頼者の要求を評価者が受け入れるのは，一連の交渉の後でよい。そのとき，要求事
項を明確に識別できる文書にしておくか，又は，合意された要求事項を記載した文書類の形にするのがよ
い。
相互の働きかけ 2：これらのことに合意が得られたとき，評価者は，製品情報の指定された項目の納入
時に，評価仕様を作ろうと提案することになる。依頼者は，この提案を受けてもよいし，評価プロセスか
ら退いてもよい。依頼者が合意し，合意した資材及び情報を供給した場合には，評価仕様が作られ，依頼
者に提供される。依頼者は，評価仕様にある条項を受け入れてもよいし，拒否してもよい。
相互の働きかけ 3：仕様が受け入れられれば，評価者は，評価仕様に含まれている条項に基づいて，評
価計画の作成を提案する。この提案は，依頼者に受け入れられることもあるし，拒否されることもある。
拒否された場合には，評価プロセスは，終了する。そうでない場合には，評価計画書が作られ，依頼者に
提供される。
相互の働きかけ 4：評価計画書に基づいて，評価者は，計画書に従って評価を指揮し，評価報告書を作
成する。再び，評価者の提案は，依頼者に受入れの了承を必要とする。評価者の申し出が受け入れられた
場合に，評価が行われる。依頼者は，この申し出を注意深く審査するのがよい。それは，評価結果につい
て質問しにくいような記述（例えば，例外条項）がないかを調査決定するためである。制限が見つかった
場合は，依頼者は，そのような制限を取り除くように要請するのがよい。
相互の働きかけ 5：評価報告書が依頼者に納入される。そのような報告の内容は，この規格の附属書 A
で規定している。評価報告書は，依頼者に受け入れられるか，若しくは評価者の検出事項又は行為につい
てどのようなものであっても，異議の申立てをしてよい。ISO/IEC Guide 25 は，評価者が定められた苦情
手続をもつのがよい，ということを規定している。これは，一般取引き条件で処理されてもよく，さらに，
異議申立ての主要な争点，取られるべき手順及び異議申立てに応じて発生するかもしれない費用に関して
の帰結について，識別するのがよい。
適合試験の意味合いにおいて，ステップ 1 の交渉は，標準評価要求の受入れ，又は拒否ということだけ
に限られる。
D.1
評価要求の分析
評価要求の合意は，当事者間の関係についての最初の正式な段階を形成する。長い交渉期間の後で，合
意に達するであろうことは，期待してよい。通常は，要求文書は，それ以前のあらゆる伝達情報にとって
代わる。しかし，以前の情報は，例えば，誤った表明又は善意の欠如を判断して行動するための基礎とし
24
X 0133-5 : 1999 (ISO/IEC 14598-5 : 1998)
て役立つかもしれない。
D.2
評価の仕様化
この段階では，関係当事者間の交渉が含まれてよい。しかし，究極的には，評価者は，評価仕様に含ま
れている取引き条件を基礎として，評価計画を準備するように申し出てよい。
二つの条件の組が識別されるかもしれない。第 1 番目に，評価者は，すべての評価及び依頼者とのすべ
ての取決めを制御する一連の共通の規則及び手順を確立することを望むのがよい。第 2 番目に，包括され
る特定契約を扱うように，特別条項が要求するのがよい。評価者の見地からの最適アプローチは，一般的
な条件と分離し，各評価仕様，各評価計画及び一般条件に従うという合意を表明している契約上の重要性
をもつかもしれない依頼者との他の伝達手段のそれぞれの条項に入れることになる。
D.3
評価の設計
依頼者は，評価計画を作成するように要請する。この行為は，評価仕様で指定された取引き条件に従い，
評価計画を作成するという評価者の提案に対する，依頼者の受入れである。評価計画は，評価仕様の多く
の条項を繰り返し記述してよい。また，次の事項も，記述する。
(i)
適用される特定の評価モジュールの識別
(ii)
評価プロセスの実施予定
(iii)
評価プロセスの資源の用意
評価者は，評価計画に従って，評価を行うように申し出てよい。
D.4
評価の実行
評価は，評価仕様及び評価計画に従うことを期待されてよい。法律上の見地から，潜在的な問題を識別
し，それに備える試みがなされることが必要である。最も大事な問題は，評価計画が実行不可能だと分か
ることかもしれない。これは，次の可能性を含む多くの要因又は状況によって起こるかもしれない。
(i)
評価計画に欠陥がある。
(ii)
ソフトウェアが仕様どおりでない。
(iii)
第三者の干渉が実行を妨げる。
25
X 0133-5 : 1999 (ISO/IEC 14598-5 : 1998)
附属書 E（参考） 評価契約
E.1
モデル契約
附属書 D に記述した枠組みは，別々な多くの契約を含む。評価計画についての合意の段階ごとに，全体
の関係が明確にされているため，これらの契約は，互いに連携し，相互に入り込んで形成される。主要な
構成要素には，次がある。
(i)
評価要求
(ii)
評価仕様
(iii)
評価計画
(iv)
一般的な取引き条件
この構造の中では，次の構成要素が識別できる。
A
評価の仕様
(i)
関係者の識別
(ii)
製品の識別
(iii)
合意の目的
(iv)
評価技法の識別
B
評価の運営
依頼者の義務には，次がある。
(i)
ソフトウェア及び関連情報の納入に関しての準備
評価者の義務には，次がある。
(i)
評価の期間
(ii)
評価スタッフの資格
(iii)
評価の運営
C
評価報告
(i)
評価報告の結果及び様式の提示
(ii)
論争解決手順
(iii)
報告の使われ方
(iv)
新版の製品及び試験の再提出
D
一般的な法的取引き条件
(i)
機密性
(ii)
知的財産問題
(iii)
除外及び制限
(iv)
法律及び司法権についての選択
E.2
一般的法律の約定と条件
多くの法律条項が，上記で大略を示した，依頼者−評価者の関係の各段階で対応する。これらの法律条
項は，ソフトウェアにおける知的財産権，情報の機密性，除外又は制限条項，法律条項の選択，解釈の条
項と関係した論点を含むことになる。
約定の適用：責任ある従事者又は評価者の執務担当者によって作成され，署名されたものでなければ，こ
26
X 0133-5 : 1999 (ISO/IEC 14598-5 : 1998)
れらの一般的約定又は条件に対する変更は，すべて無効である。
国の法律の規定で，強要できず又は法律上無効となる約定は，合意の関連部分から分離しなければなら
ない。
評価仕様及び評価計画とともに，これらの一般的な約定の条項は，評価者と依頼者との全体の契約を形
作っており，評価者による又は評価者を代表して事前になされるいかなるそれ以前の合意又は陳述よりも
優先される。
機密性：評価者は，評価手順の一部として，評価者が保管又は制御する依頼者のいかなる所有物について，
物理的安全を維持するよう，あらゆる合理的な手段を講ずる責任を負う。評価者は，評価手順の一部とし
て，供給されたいかなる情報でも機密性をもって処理する責任があり，評価を目的にこれらの情報を入手
し得る従業員又は他のいかなる関係者にも，同様の義務を課すという責任がある。
知的財産権の使用：評価者は，試験目的にソフトウェアを使うため，依頼者によって非排他的使用権を認
められている。この使用については，特に，評価手順の一部として要求されるであろうどんな分析形式を
も，仕様化するという行為を含んでいてもよい。
責任の範囲：評価されたソフトウェアの品質又は他の特定の目的のための適合度合いのための品質に関し
て，依頼者又は他の関係者に対する評価者による明示的又は暗示的な保証は，何もない。
評価者としての義務を怠慢に実施しても，評価者の責めは，評価料金の額に限られるであろう。評価者
としての義務を怠慢に実施したことから失われる利益又は結果的に生じる損失に対しては，どんな場合で
も，評価者は，責任を負わないであろう。
不可抗力：評価者又は依頼者の管理できている範囲外の事情による操作が，評価契約で課せられたいかな
る義務にせよ，その達成を不可能にする場合には，責任が生じない。
評価結果の使用：評価報告書は， 国際的手法に沿ったチェック−適合性の認証 を手に入れるという目
的で，依頼者が使ってもよい。また，報告書は，依頼者が評価者の承諾なしに報告書の追加作成しなくて
もよい，という判断をすることのような他の目的に使ってもよい。
品質ラベルの使用：製品が対応する評価水準に適合していると評価された場合には，評価者は，品質ラベ
ルの所有者として，評価された製品の依頼者が製品又はパッケージに表示付けをする非排他権利を承認す
るであろう。当該製品が評価者によって承認されたことを示唆すること以外は，いかなることもしてはな
らない。
評価の有効性：評価は，最初の 12 か月が有効である。
評価データ：製品に関連した評価プロセスで取得されたデータは，評価が有効である期間では，評価者に
よって保持される。データは，機密性をもって扱われ，依頼者の承諾又は法廷の要求なしには，公開され
ないであろう。データは，評価の有効性がなくなったとき，廃棄されるだろう。
依頼者から供給されたすべての製品及び資料は，評価プロセスの終了時点に返却されるであろう。
27
X 0133-5 : 1999 (ISO/IEC 14598-5 : 1998)
附属書 F（参考） 関連規格一覧
ISO 2382-1 : 1990, Information technology
−Vocabulary−Part 1 :
ISO 2382-20 : 1990, Information technology
−Vocabulary−Part 20 : System development.
ISO 8402 : 1994, Quality management and quality assurance
−Vocabulary.
ISO/IEC Guide 2 : 1991, General terms and their definitions concerning standardization and related
activities.
ISO/IEC Guide 25 : 1990, General Requirements for the Competence and Calibration of Testing
Laboratories.
ISO 9001 : 1994, Quality systems
−Model for quality assurance in design/development, production,
installation and servicing.
ISO/IEC 12207 : 1994, Information technology
−Software life-cycle processes.
ISO/IEC 9126-1 : Information technology
−Software Quality Characteristics and Metrics−Part 1 :
Quality characteristics.
Note : Work in progress. This document will replace ISO/IEC 9126 : 1991.
ISO/IEC 14598-2 : (new), Information technology
−Evaluation of software product−Manager's guide.
ISO/IEC JTC1/SC7 N1056, Working Glossary for SC7
ISO/IEC JTC1/SC7/WG9 working draft JIC1/SC7 N1287, Information technology
− Software
Integrity
−System and software integrity levels
ISO/IEC 12119 : 1995, Information technology
− Software packages− Quality requirements and
testing.
Commission of the European Communities, DG XIII, ITSEC
−Information Technology Security
Evaluation Criteria,version 1.2, June 1991, ISBN 92-826-3004-8.
Commission of the European Communities, DG XIII, ITSEM
−Information Technology Security
Evaluation Manual,version 1.0, September 1993, ISBN 92-826-7087-2.
ISO/IEC JTC1/SC21/WG9 N 12 Rev : February 1994, Proposed draft technical report-interpretation of
accreditation requirements in ISO/IEC Guide 25 for Information Technology and
Telecommunications testing laboratories for software and protocol testing services.