>サイトトップへ >このカテゴリの一覧へ

X 0016 : 1997 (ISO/IEC 2382-16 : 1996)

(1) 

まえがき

この規格は,工業標準化法に基づいて,日本工業標準調査会の審議を経て,通商産業大臣が改正した日

本工業規格である。これによって JIS X 0016 : 1987 は改正され,この規格に置き換えられる。

今回の改正では,情報通信技術の進展に伴って,既存用語の拡充,新技術及び新しい概念に対する用語

の追加を行った。


日本工業規格

JIS

 X

0016

: 1997

 (ISO/IEC

2382-16

 : 1996

)

情報処理用語(情報理論)

Glossary of terms used in

information processing

(Information Theory)

序文  この規格は,1996 年に第 2 版として発行された ISO/IEC 2382-16, Information technology−Vocabulary

−Part 16 : Information theory を翻訳し,技術的内容を変更することなく作成した日本工業規格である。

なお,この規格で点線の下線を施してある“参考”は,原国際規格にはない事項である。

1.

適用範囲  この規格は,情報処理における情報理論用語,定義及び対応英語について規定する。

2.

分類  用語は,次のとおり分類する。

a)

一般用語(16.01 参照)

b)

通報及び通信系(16.02 参照)

c)

基本量に関する用語(16.03 参照)

d)

導出量に関する用語(16.04 参照)

3.

表記法  この規格は,各用語を番号,用語,定義及び対応英語の四つの欄に分けて規定する。それぞ

れの欄における表記法及び解釈を,次に示す。

a)

番号  番号は,6 個の数字によって表す。最初の 2 けたの数字は,情報処理用語の規格番号の末尾 2

けたを示す。次の 2 けたの数字は,この規格での分類を示す。最後の 2 けたは,同一分類内の一連番

号を示す。

b)

用語

1)

同一の意味を示す用語が二つ以上ある場合は,表記した順に従って優先使用する。

2)

用語の一部が丸括弧(  )で囲まれている場合は,その部分を省略してもよいことを表す。この場

合は,括弧内を省略したときとしないときとの間に優先順位はない。

3)

用語の使用分野を限定する場合には,用語に引き続く丸括弧(  )内にそのことを示す。

例  “情報(情報理論における)”(16.01.03 参照)

c)

定義

1)

文中で下線の引いてある語は,情報処理用語に関する日本工業規格に規定されていることを示す。

2)

丸括弧(  )の使い方は,b)と同様とする。

d)

対応英語

1)

この欄の英語は,対応国際規格に規定されている用語であって,規定されている定義と対応する。


2

X 0016 : 1997 (ISO/IEC 2382-16 : 1996)

2)

対応英語について使用上の注意がある場合には対応英語に引き続く丸括弧(  )内に示す。

3)

対応英語に付けられた括弧内の注記の意味は,次のとおりとする。

(使用しないほうがよい。

)  国際規格及びこの規格では,この英語を使用しないので,使用しな

いほうがよいことを示す。

例  16.03.03  negentropy(使用しないほうがよい)

(使用してはいけない。

)  国際規格及びこの規格では,用語統一の見地から,この英語を使用し

てはいけないことを示す。

(この意味では使用しないほうがよい。

)  国際規格及びこの規格では,他の意味で使われている

ため,この英語を使用しないほうがよいことを示す。

(××だけ)  この英語は××(国名)だけで通用することを示す。

4)

使用分野を限定する丸括弧(  )の用法は,b)と同様とする。

4.

情報処理用語(情報理論)

16.01

一般用語

番号

用語

定義

対応英語

16.01.01 

情報理論

情報の定量的な尺度を取り扱う理論分野。 information

theory

16.01.02 

通信理論

雑音,その他の妨害の影響下における通報の伝送に関す
る性質を取り扱う理論分野。

commumication theory

16.01.03 

情報(情報理論にお

ける)

事象の集合から生起する事象に関する不確実さを減らし

たり取り除いたりする知識。

備考  情報理論において,“事象”は,確率論で使用

されるものと同様である。事象の例には次の

ようなものがある。

−  ある要素  集合の中に特定の要素が存在する

こと。

−  ある通報の中又はある通報の特定の位置に,

ある文字又はある語が存在すること。

−  ある実験から得られる結果の一つ。

information

16.02

通報及び通信系

番号

用語

定義

対応英語

16.02.01 

通報(情報理論及び

通信理論におけ
る)

情報の伝達を目的とする,順序付けられた文字列。

message (in information

theory and

communication

theory)

16.02.02 

情報源

通信系において通報が発生する部分。 message

source,

information source

16.02.03 

通報受端

通信系において通報を受け取る部分。 message

sink,

information sink


3

X 0016 : 1997 (ISO/IEC 2382-16 : 1996)

番号

用語

定義

対応英語

16.02.04 

通信路(通信理論に

おける)

通信系において情報源と通報受端とを結ぶ部分。

備考1.  符号器が情報源と通信路入力との間に,ま

た復号器が通信路出力と通報受端との間に

存在してもよい。一般に,符号器及び復号
器は,通信路の一部とはみなさない。しか
し,情報源及び通報受端の一部とみなす場

合がある。

2.

シャノンの情報理論においては,情報源か
らの通報に対して通報受端が受け取る通報

の条件付き生起確率で,通信路は特徴付け
られる。

channel (in

communication

theory)

16.02.05 2

元対称通信路

2

進文字から成る通報を伝送する通信路であり,伝送し

たある文字がもう一方の文字に変化してしまう条件付き
確率が等しい性質をもつもの。

symmetric binary

channel

16.02.06 

定常情報源

通報の生起確率が時刻に依存しない情報源。 stationary

message

source,

stationary information

source

16.03

基本量に関する用語

番号

用語

定義

対応英語

16.03.01 

選択情報量

互いに排反な事象から成る有限集合中の事象の数の対
数。数学的には,この選択情報量は,

H

0

=log n

で表される。ここで,は事象の数である。

備考1.  16.01.03の備考参照。

2.

対数の底によって単位が定まる。よく使わ
れる単位には次のものがある。

対数の底が 2 のときはシャノン(記号は

Sh

対数の底が e のときはナット(記号は

nat

対数の底が 10 のときはハートレー(記号

は Hart)

単位の変換表を次に示す。

1Sh

          =0.693nat=0.301Hart

1nat

=1.443Sh          =0.434Hart

1Hart

=3.322Sh=2.303nat

3.

選択情報量は,事象の生起確率に対して独
立である。

4.

有限個の互いに排反な事象から成る有限集

合の中から,特定の事象を選択するために
必要な,個の選択肢からの選択回数は,b
を底とする対数で定義した選択情報量の小

数部分を切り上げた整数に等しい。ただし,

b

は整数とする。

例  {a,  b,  c}  を三つの事象から成る集合とすると,

この集合の選択情報量は次のとおり。 
H

0

= (log

2

 3) Sh

  =1.585Sh

  = (log

e

 3) nat

  =1.098nat

  = (log

10

 3) Hart

=0.477Hart

decision content


4

X 0016 : 1997 (ISO/IEC 2382-16 : 1996)

番号

用語

定義

対応英語

16.03.02 

情報量

確率事象の生起を知ることによって伝えられる情報の尺
度。この尺度はその事象の生起確率の逆数の対数に等し
く,数学的には,

)

(

log

)

(

1

log

)

(

x

p

x

p

x

I

=

=

で表される。ここで,p (x)  は事象 の生起確率である。

備考1.  16.01.03の備考参照。

2.

生起確率が等しい事象から成る集合では,
各事象の情報量はその集合の選択情報量に
等しい。

例  {a,  b,  c}  を三つの事象から成る集合とし,各事

象の生起確率を p  (a)  =0.5,  p  (b)  =0.25 及び p

(c)

=0.25 とする。これらの事象の情報量は次の

とおり。

Sh

1

Sh

50

.

0

1

log

)

(

2

=

=

a

I

Sh

2

Sh

25

.

0

1

log

)

(

2

=

=

b

I

Sh

2

Sh

25

.

0

1

log

)

(

2

=

=

c

I

information content

16.03.03 

エントロピー, 
平均情報量

有限の完全事象系の中から,いずれの事象が生起したか

を知ることによって伝えられる情報量の平均値。数学的
には,

)

(

1

log

)

(

)

(

)

(

)

(

1

1

i

n

i

i

i

n

i

i

x

p

x

p

x

I

x

p

X

H

å

å

=

=

=

=

で表される。ここで,X=  {x

1

,

……,x

n

}

は事象 x

i

i=1,

……,n)の集合,  I (x

i

)

は事象の情報量,及び p (x

i

)

は事

象 x

i

の生起確率であって,

1

)

(

1

=

å

=

n

i

i

x

p

を満たすものとする。

備考  完全事象系とは,それを構成する事象が互い

に排反であり,すべての事象の和集合が全事

象に一致する事象系をいう。

例  {a,  b,  c}  を三つの事象から成る集合とし,各事

象の生起確率を p  (a)  =0.5,  p  (b)  =0.25 及び p

(c)

=0.25 とする。この集合のエントロピーは次

のとおり。 
H(X)

p(aI(a)+p(bI(b)+p(c) I(c)=1.5 Sh

entropy,

average information

content,

negentropy

(使用しない

ほうがよい)


5

X 0016 : 1997 (ISO/IEC 2382-16 : 1996)

番号

用語

定義

対応英語

16.03.04 

相対エントロピー

エントロピーと選択情報量 H

0

との比 H

r

。数学的には,

0

H

H

H

r

=

で表される。

例  {a,  b,  c}  を三つの事象から成る集合とし,各事

象の生起確率を p  (a)  =0.5,  p  (b)  =0.25 及び p

(c)

=0.25 とする。この集合の相対エントロピー

は次のとおり。

95

.

0

Sh

585

.

1

Sh

5

.

1

=

=

r

H

relative entropy

16.03.05 

冗長量(情報理論に

おける)

選択情報量 H

0

とエントロピーとの差 R

数学的には,

H

H

R

=

0

で表される。

備考  通常,通報は,適切な符号を用いて,より少

ない文字数で表現できる。冗長量は,その符
号化によって達成される通報の平均長の減少
量と考えられる。

例  {a,  b,  c}  を三つの事象から成る集合とし,各事

象の生起確率を p  (a)  =0.5,  p  (b)  =0.25 及び p

(c)

=0.25 とする。この集合の冗長量は次のとお

り。 
R

=1.585 Sh−1.500 Sh=0.085Sh

redundancy

(in

information theory)

16.04

導出量に関する用語

番号

用語

定義

対応英語

16.04.01 

冗長度(情報理論に

おける)

冗長量 と選択情報量 H

0

との比 r。数学的には,

0

H

R

r

=

で表される。

備考  冗長度は相対エントロピーH

r

の 1 の補数に等

しい。すなわち,

r

=1−H

r

である。

relative redundancy

16.04.02 

条件付き情報量

ある事象 が生起したという条件下で他の事象 の生起

を知ることによって伝えられる情報の定量的な尺度。こ
の尺度は事象 が生起したという条件下の事象 の条件
付き確率 p(y)の逆数に等しい。数学的には,この尺度

I (y)

は,

)

|

(

1

log

)

|

(

y

x

p

y

x

I

=

で表される。

備考  条件付き情報量 I (y)  は,及び の結合情

報量 (xy)  から の情報量 I (y)  を引いた差に
等しい。すなわち,

I (y)

I (xy)  −I (y)

である。

conditional information

content


6

X 0016 : 1997 (ISO/IEC 2382-16 : 1996)

番号

用語

定義

対応英語

16.04.03 

結合情報量

二つの事象 及び が同時に生起したことを知ることに
よって伝えられる情報の定量的な尺度。この量は両事象
の結合確率 p (xy)  の逆数の対数に等しい。数学的には,

この尺度 (xy)  は,

)

,

(

1

log

)

,

(

y

x

p

y

x

I

=

で表される。

joint information content

16.04.04 

条付きエントロピ

ー, 

条件付き平均情報

完全事象系の中から一つの事象が生起したという条件下
で,他の完全事象系の中から一つの事象が生起したこと

を知ることによって伝えられる条件付き情報量の平均
値。数学的には,この尺度は,

)

|

(

)

,

(

)

|

(

j

i

n

i

m

j

j

i

y

x

I

y

x

p

Y

X

H

åå

=

=

=

で表される。

ここで,X={x

1

,……,x

n

}

は事象 x

i

(i

=1,……,n)  の

集合,  Y={y

1

,……,y

m

}

は事象 y

j

 (j

=1,……,m)  の

集合,  I (x

y

j

)

は y

j

が生起したという条件下で x

i

の条件

付き情報量,及び p (x

i

y

j

)

は両事象の結合確率である。

conditional entropy,

mean conditional

information content,

average conditional

information content

16.04.05 

あいまい量, 
あいまい度,

一つの通信路によって情報源に接続されている通報受端
において特定の通報の集合が生起したという条件下で,

情報源においてある通報の集合が生起する条件付きエン
トロピー。

備考  あいまい量は,雑音のある通信路で影響を受

けた受信通報を訂正するために,通報受端に
おいて供給しなければならない 1 通報当たり
の付加的情報量の平均値である。

equivocation

16.04.06 

散布量, 
散布度

一つの通信路によって通報受端に接続されている情報源
において特定の通報の集合が生起したという条件下で,

通報受端においてある通報の集合が生起する条件付きエ
ントロピー。

irrelevance,

prevarication,

spread

16.04.07 

伝達情報量, 
相互情報量

事象 の生起を知ることによって伝えられる情報量 I  (x)

と,他の事象 が生起したという条件下で同じ事象 
生起を知ることによって伝えられる条件付き情報量 I (|

y)

との差。

数学的には,この尺度 T (xy)  は,

T (xy)

I (x)  −I (x | y)

で表される。

備考1.  二つの事象 及び の例として,ある通信

路の情報源での通報,及び通報受端での通

報があげられる。

2.

伝達情報量は

T (y)

I (x)  +I (y)  −I (xy)

とも表せる。ここで,I  (y)  は事象 の情

報量,I(xy)  は両事象の結合情報量である。
このことから,伝達情報量が 及び に関

して対称であって,

T (xy)

T (yx)

であることがわかる。

transinformation

(content) ,

transferred information,

transmitted information,

mutual information


7

X 0016 : 1997 (ISO/IEC 2382-16 : 1996)

番号

用語

定義

対応英語

16.04.08 

平均伝達情報量

完全事象系の中から一つの事象が生起したという条件下
で,他の完全事象系の中から一つの事象が生起したこと
を知ることによって伝えられる伝達情報量の平均値。数

学的には,この尺度は

)

,

(

)

,

(

)

,

(

j

i

n

i

m

j

j

i

y

x

T

y

x

p

Y

X

T

åå

=

=

=

で表される。 
ここで,X=  {x

1

,……,x

n

}

は事象 x

i

 (i

=1,……,n)  の

集合,Y=  {y

1

,……,y

m

}

は事象 y

j

 (j

=1,……,m)  の

集合,T (x

i

y

j

)

は x

i

並びに y

j

の伝達情報量,及び (x

i

y

j

)

は両事象の結合確率である。

備考1.  平均伝達情報量は 及び に関して対称で

ある。二つの事象集合 及び があったと
き,

平均伝達情報量は,

X

のエントロピーと,

Y

に関する の条件付きエントロピーとの

差に等しい。すなわち,

T  (X,  Y)

H  (X)  −H  (X  |  Y)  =H  (Y)  −H(Y  |  X)

T (YX)

である。

2.  X

を情報源での特定の通報の集合とし,

通報受端での特定の通報の集合としたと
き,平均伝達情報量は,その通信路を通し

て送られる情報の尺度である。平均伝達情
報量は,情報源でのエントロピーとあいま
い量との差に等しく,通報受端でのエント

ロピーと散布量との差にも等しい。

mean transinformation

content,

average transinformation

content

16.04.09 1

文字当たりの平均

エントロピー, 

1

文字当たりの平均

情報量, 

1

文字当たりの情報

速度

定常情報源から出されるすべての通報に対する 1 文字当

たりのエントロピーの平均値。数学的には,この尺度 H'
は極限値

m

H

H

m

m

=

′ lim

で表される。ここで,H

m

は定常情報源から出される m

個の文字から成る全系列についてのエントロピーであ

る。

備考1.  1文字当たりの平均エントロピーは,Sh/文

字などの単位で表現される。

2.

情報源が定常でないならば,この極限値は
存在しない場合がある。

character mean entropy,

character mean

information content,

character average

information content,

character information

rate


8

X 0016 : 1997 (ISO/IEC 2382-16 : 1996)

番号

用語

定義

対応英語

16.04.10 

(平均)情報速度

1

文字当たりの平均エントロピーH'を文字の時間長さの

平均値で割ったもの。数学的には,この尺度 H

*

)

X

t

H

H

=

で表される。ここで,X={x

1

,……,x

n

}

は文字 x

i

i=1,

……,n)の集合であり,

å

=

=

n

i

i

i

x

t

x

p

X

t

1

)

(

)

(

)

(

は確率 p (x

i

)

で生じる文字 x

i

の時間長さ t (x

i

)

の平均値で

ある。

備考  平均情報速度は Sh/秒などの単位で表現され

る。

(average) information

rate

16.04.11 1

文字当たりの平均

伝達情報量 

定常情報源から出されるすべての通報に対する平均伝達
情報量の 1 文字当たりの平均値。数学的には,この尺度

T'

は,極限値

m

T

T

m

m

=

′ lim

で表される。ここで,T

m

は 個の文字から成る入力及び

出力の系列間の平均伝達情報量である。

備考  1 文字当たりの平均伝達情報量は,Sh/文字な

どの単位で表現される。

character mean

transinformation

content

16.04.12 

平均伝達情報速度

1

文字当たりの平均伝達情報量 T'を,入力文字及び出力

文字の対の時間の平均値で割ったもの。数学的には,こ
の尺度 T

*

は,

)

,

(

Y

X

t

T

T

=

で表される。 
ここで,X=  {x

1

,……,x

n

}

は入力文字 x

i

 (i

=1,……,

n)

の集合,  Y=  {y

1

,……,y

m

}

は出力文字 y

j

  (j

=1,…

…,m)の集合,及び

)

,

(

)

,

(

)

,

(

j

i

n

i

m

j

j

i

y

x

t

y

x

p

Y

X

t

åå

=

=

=

は結合確率 p  (x

i

y

j

)

で生起する文字の組  (x

i

,  y

j

)

の時間

長 t (x

i

y

j

)

の平均値である。

備考  平均伝達情報速度は,Sh/秒などの単位で表

現される。

average transinformation

rate

16.04.13 

通信路容量

情報源から通報を伝送する際の通信路の能力の尺度。1
文字当たりの平均伝達情報量の最大値又は平均伝達情報

速度の最大値で表現される。この最大値は適当な符号を
用いれば,任意の小さな誤り確率で達成できる。

channel capacity


9

X 0016 : 1997 (ISO/IEC 2382-16 : 1996)

情報処理用語−情報理論用語

JIS

原案作成委員会  構成表

氏名

所属

(委員長)

大  野  義  夫

慶應義塾大学理工学部電気工学科

飯  田      実

三菱電機株式会社

今  井  秀  樹

東京大学生産技術研究所

魚  木  五  夫

産能大学経営情報学部

小  川  正  純

株式会社日立製作所

兼  谷  明  男

通商産業省工業技術院

金  子  敏  信

東京理科大学理工学部電気工学科

下  田  宏  一

日本ユニシス株式会社

高  橋  行  俊

国際電信電話株式会社研究所

中  川  正  雄

慶應義塾大学理工学部電気工学科

比田井      裕

株式会社東芝

森      宗  正

規格調整専門委員

因      幸二郎

財団法人日本規格協会

(事務局)

及  川      清

社団法人情報処理学会