2012年01月18日

10万字サンプルにおける 3-gram 頻度。

3-gram 頻度表を作成しました。16,132 位まで全部で 32,367 行ありました。このうち 16,236 行が頻度1回の 3-gram でした。

3-gram 頻度 ダウンロード

10万字サンプルは英数字や記号も含んでいるため、下位は「−1、」のようなノイズとみなしていい 3-gram も目立ちます。Excel に読ませると計算式だと誤認識したりするので、頻度10回(1,871位)以上となる 2,131 行のみ抽出して公開します。

10万字サンプルにおける 3-gram 頻度
csv形式 【出現頻度,3-gram】
無圧縮 22KB
2012-01-18

3-gram 頻度 プレビュー

こちらはタブ区切りで【出現頻度《タブ》3-gram】としました。1行目は頻度1位の「という」が358回出現したことを示しています。100 位まで102行をプレビューします。

358	という
338	ます。
255	います
244	ている
241	ひょう
212	ってい
202	しょう
190	じょう
176	ちょう
167	とおも
161	した。
158	ました
158	ょうか
154	った。
154	ない。
148	してい
147	なって
142	うこと
142	かった
141	んです
140	から、
138	ていた
134	です。
134	ること
130	きょう
128	おもい
128	ざいま
127	ござい
127	ります
126	いうこ
124	して、
120	。それ
116	すが、
108	いただ
108	わたし
101	ないか
101	になっ
100	として
98	ところ
98	ので、
96	もいま
92	くひょ
89	ており
89	まして
88	ぎょう
88	ついて
88	ような
87	けど、
87	ょうの
84	かんが
84	ちゅう
83	じぶん
83	ゃない
83	ように
82	てしま
81	につい
80	おりま
80	きゅう
79	なかっ
78	りょう
77	ありま
77	いって
77	しょく
77	ないの
76	って、
76	らない
76	れてい
75	す。そ
74	、それ
74	ことを
74	でござ
73	じゃな
73	ですが
73	はない
72	うして
71	だった
71	てきた
70	がある
70	ことは
70	ょうに
68	ません
68	んがえ
67	くなっ
67	ていま
66	、この
66	たいと
66	ってき
66	できる
66	ではな
66	ょうし
66	れから
65	おもう
65	ことが
65	しゃし
65	ないと
64	いるの
64	もくひ
64	りまし
64	んかい
63	いとお
63	だろう
63	るので

謝辞

ASCII Softwera Tools をフォルダごと削除してしまったことすらも忘れていて、uniq コマンドが使えなくて焦りました。書籍付録のFDはとうに捨ててしまったし、そもそも今どきのPCにFDDなんかないし。というわけで、

こちらに付属する uniq で 3-gram 頻度表を作成することができました。ありがとうございました。

関連記事

10万字サンプルで「文末」を紐解く。
2008-02-24
10万字サンプルにおける 2-gram 頻度。
2007-06-22
10万字サンプルにおける文字の出現頻度。
2007-02-13
posted by 141F at 23:59| Comment(0) | TrackBack(0) | oyayubi | このブログの読者になる | 更新情報をチェックする
この記事へのコメント
コメントを書く
お名前: [必須入力]

メールアドレス:

ホームページアドレス:

コメント: [必須入力]

※ブログオーナーが承認したコメントのみ表示されます。

この記事へのトラックバック