[12] 정보 엔트로피(섀넌 엔트로피)

meow00 2020. 8. 17. 21:31

엔트로피란 정보량 또는 정보의 불확실도를 측정하는 수학적 개념이다.

확률이 낮을수록, 어떤 정보일지는 불확실해지고, 이때 '정보가 많다', '엔트로피가 높다.'라고 표현할 수 있다.

ex) 주사위 던기지의 엔트로피가 동전 던지기의 엔트로피가 크다고 할 수 있다.

정보이론의 기본은

어떤 사람이 정보를 더 많이 알수록 새롭게 알수있는 정보는 적어진다는 것이다.

보안에서의 정보 엔트로피

문자 배열로 간주되는 영어 텍스트의 경우,

한 메시지에 들어갈 수 있는 정보량의 비트 수를 구해보려한다.

a~z까지의 알파벳 100글자가 적혀있는 txt파일이 있다.

이 파일은 100byte(=800bit)의 크기를 가진다.

하지만, 이 파일은 26가지의 글자(a~z)만 담을 수 있기 때문에 실제 담을 수 있는 정보량은 26^100이다.

이 파일의 엔트로피는 log2 26^100, 약 470bit이다.

만약 이 파일이 문법에 맞는 영어문장만을 담고 있다면 파일의 엔트로피는 더 줄게된다.

(영어 문장의 엔트로피는 한 글자당 1.1bit 정도로 알려져 있다.)

[출처]