Wednesday 31 October 2012

Khi nào người làm thống kê từ vựng nên đếm cả dấu câu?


Khi nào người làm thống kê từ vựng nên đếm cả dấu câu?
Giả sử ta có văn bản sau:
Tôi muốn bàn về vấn đề dân chủ, nhân quyền ở Việt Nam khi một số tổ chức phản động cực đoan của người Việt ở nước ngoài và một số phần tử cơ hội ở trong nước được sự "bảo kê" của một số cơ quan truyền thông, một số tổ chức nhân danh "dân chủ, nhân quyền" hỗ trợ tài chính qua các loại "giải thưởng"; từ đó xuyên tạc, bóp méo sự thật, rồi tung hô nhau là "nhà dân chủ" nhằm dễ bề lôi kéo dư luận khi bị pháp luật Việt Nam trừng phạt. (Trần Mai (HoaKỳ), báo Nhân Dân ngày 30-10-2012)
Đếm cái gì hay không đếm cái gì là tùy vào mục đích nghiên cứu.
Nếu mục đích là lập bảng từ  cần cung cấp cho người học tiếng Việt, ta cần biết từ nào được dùng nhiều, từ nào ít dùng. Ta không cần đếm dấu câu (dấu chấm, dấu phẩy, dấu chấm phẩy...) làm gì.
Nhưng nếu mục đích nghiên cứu là một số nét đặc trưng của phong cách tác giả, chẳng hạn như tốc độ bổ sung từ vị dọc theo chiều dài văn bản hay tổng số vốn từ trên văn bản, thì nên đếm cả dấu câu. Tại sao? Tại vì sự xuất hiện của dấu phẩy có thể làm chậm xuất hiện hoặc làm suy giảm tần số của các từ thì, và, rồi, nhưng... Dấu hai chấm có thể là một cách để tác giả tránh lặp từ . Các dấu nháy là một cách để tác giả kiệm lời, khỏi phải giải thích dông dài thêm về những từ ngữ bị kẹp giữa hai dấy này...

Monday 29 October 2012

Danh sách những từ thông dụng nhất trên Thủy Hử (Thi Nại am)

6672
1714
3767
3012
5869
1372
1439
8473
1002
1152
6397
1088
2540
1443
3245
6828
便 3174
4813
1401
2376
1297
1809
2041
1515
1103
1851
3886
1439
2972
1283
1097
1489
1061
1277
3182
1351
2843
1509
1536
2076
2301
1667
1535
2242
1876
1082
3784
3699
1207
1832
1043
1954
4018
2192
2420
1388
1016
1075
1473
1453
2268
1021
2779
1002
1697
1299
1122
1663
1313
1980
1073
1066
3801
1533
2805
2519
1020
1405
1036
1486
3145
7699
3480
1923
1605
1275
1370
2078
1704

Một từ điển tần số cho Thủy Hử (Thi Nại Am) - Phần 07

1
68
6
31
41
9
1
2
2
1
430
1
44
1
12
13
2
11
1
1
48
11
65
39
9
3
5
37
393
58
1
20
44
6
4
20
5
1
24
74
310
11
11
118
11
7
1
1
1
9
3
1
11
3
33
1
201
2
3
2
3
4
1
2
10
62
53
2
11
541
1275
3
81
40
628
28
22
132
480
3
50
1
1
87
40
8
1
4
312
1
1
5
241
64
28
66
55
1
21
2
9
68
48
1
21
145
267
92
102
52
75
9
11
115
77
112
4
2
79
113
1
7
33
54
7
22
4
335
30
12
221
3
12
299
43
2
2
6
19
191
224
48
45
212
244
73
94
175
7
220
3
2
17
6
4
15
3
12
40
80
20
20
59
412
1
1
54
196
43
1370
3
1
21
5
43
33
12
1
67
1
57
1
24
164
91
5
69
325
242
1
13
12
1
91
20
790
1
2078
9
1
5
15
26
24
37
2
39
140
2
45
26
300
6
27
390
1
2
15
10
293
190
1
5
253
179
25
9
1
36
88
4
4
16
209
6
5
8
5
15
4
1
17
1
30
36
84
248
143
1
1
1704
8
7
2
14
5
43
4
3
9
5
駿 2
12
1
131
15
20
1
4
12
2
18
4
1
17
286
7
7
32
68
1
2
72
557
5
19
52
37
8
1
12
9
37
3
12
83
105
15
2
58
2
8
75
15
23
10
2
4
35
34
1
131
310
15
1
43
2
6
1
1
2
1
1
161
15
51
1
13
9
1
10
10
16
2
鴿 2
2
30
1
42
4
9
2
13
1
1
3
2
14
19
1
4
鹿 3
10
1
45
29
11
2
3
21
75
13
521
10
394
9
2
218
10
331
2
9
3
1
8
115
16
14
2
8
294
53
56
29
1
200
17
8