En-trô-pi, 
, của một biến ngẫu nhiên rời rạc 
là đại lượng đo độ bất định của .
, của một biến ngẫu nhiên rời rạc là đại lượng đo độ bất định của .
Gọi 
là tập các giá trị 
của và 
là xác suất của 
, En-trô-pi, , của được tính bằng công thức Shannon:
là tập các giá trị của và là xác suất của , En-trô-pi, , của được tính bằng công thức Shannon:![H(X) = \mathbb{E}_{X} [I(x)] = -\sum_{x \in \mathbb{X}} p(x) \log p(x).](https://lh3.googleusercontent.com/blogger_img_proxy/AEn0k_vddJFgBYAcbSopfzvTE7CZysrDjuhDtu2H0M_K61no157qfAbjJYUiz7-litETJ1M9UmL5feG8jNRoq83La-lFXPE0Ksz5pmdB0AqDNk69rBxWyCzBmx0nuPzbeITX5-8l_6yXz-s-cdwjAfN9Vw=s0-d)
En-trô-pi đạt giá trị cực đại Hmax khi 
,—(tức là khi tất cả các giá trị của X đều bất định như nhau). Trong trường hợp đó 
.
,—(tức là khi tất cả các giá trị của X đều bất định như nhau). Trong trường hợp đó .
Độ dư được tính bằng công thức 1 – (H/Hmax)
Bản thông cáo ngày 8 tháng 6 năm 2014 của bộ ngoại
giao Trung Quốc về hoạt động của giàn khoan 981 (The Operation of the HYSY 981 Drilling Rig: Vietnam's Provocation and China's Position2014/06/08) sử dụng 645 từ và dấu câu (ở đây xem như tương đương với
từ). Bản thông cáo dài 2085 lượt “từ”
(như đã định nghĩa ở trên).
Vì các từ vị xuất hiện với tần số khác nhau nên
lượng tin không thể đạt mức lý tưởng (9.33 bit, theo công thức Shannon). Lượng
tin trung bình trên thực tế là 7.61 bit. Độ dư của vốn từ là 18.51%
Ý nghĩa của việc thống kê này là gì?
ReplyDeleteXin hỏi dư như vậy là ít hay nhiều?
ReplyDelete