Wednesday 11 June 2014

En-trô-pi, lượng tin và độ dư theo Shannon

En-trô-pi, Hcủa một biến ngẫu nhiên rời rạc X là đại lượng đo độ bất định của X.
Gọi \mathbb{X} là tập các giá trị \{x_1, ..., x_n\} của X  p(x) là xác suất của x \in \mathbb XEn-trô-piHcủa X được tính bằng công thức Shannon:
 H(X) = \mathbb{E}_{X} [I(x)] = -\sum_{x \in \mathbb{X}} p(x) \log p(x).
En-trô-pi đạt giá trị cực đại Hmax khi p(x)=1/n,—(tức là khi tất cả các giá trị của X đều bất định như nhau). Trong trường hợp đó  H(X)=\log n.
Độ dư được tính bằng công thức 1 – (H/Hmax)


Bản thông cáo ngày 8 tháng 6 năm 2014 của bộ ngoại giao Trung Quốc về hoạt động của giàn khoan 981 (The Operation of the HYSY 981 Drilling Rig: Vietnam's Provocation and China's Position2014/06/08) sử dụng 645 từ và dấu câu (ở đây xem như tương đương với từ). Bản thông cáo dài  2085 lượt “từ” (như đã định nghĩa ở trên). 
các từ vị xuất hiện với tần số khác nhau nên lượng tin không thể đạt mức lý tưởng (9.33 bit, theo công thức Shannon). Lượng tin trung bình trên thực tế là 7.61 bit. Độ dư của vốn từ là 18.51%

2 comments:

  1. Ý nghĩa của việc thống kê này là gì?

    ReplyDelete
  2. Xin hỏi dư như vậy là ít hay nhiều?

    ReplyDelete