Support Japanese TN&ITN

itn/japanese/data/char/fullwidth_to_halfwidth.tsv

@@ -0,0 +1,95 @@
+，	,
+。	.
+．	.
+“	"
+”	"
+！	!
+＂	"
+＃	#
+％	%
+＆	&
+＇	'
+（	(
+）	)
+＊	*
+＋	+
+－	-
+／	/
+：	:
+；	;
+＜	<
+＝	=
+＞	>
+？	?
+＠	@
+＼	\
+＾	^
+＿	_
+｀	`
+｛	{
+｜	|
+｝	}
+～	~
+＄	$
+０	0
+１	1
+２	2
+３	3
+４	4
+５	5
+６	6
+７	7
+８	8
+９	9
+ａ	a
+Ａ	A
+ｂ	b
+Ｂ	B
+ｃ	c
+Ｃ	C
+ｄ	d
+Ｄ	D
+ｅ	e
+Ｅ	E
+ｆ	f
+Ｆ	F
+ｇ	g
+Ｇ	G
+ｈ	h
+Ｈ	H
+ｉ	i
+Ｉ	I
+ｊ	j
+Ｊ	J
+ｋ	k
+Ｋ	K
+ｌ	l
+Ｌ	L
+ｍ	m
+Ｍ	M
+ｎ	n
+Ｎ	N
+ｏ	o
+Ｏ	O
+ｐ	p
+Ｐ	P
+ｑ	q
+Ｑ	Q
+ｒ	r
+Ｒ	R
+ｓ	s
+Ｓ	S
+ｔ	t
+Ｔ	T
+ｕ	u
+Ｕ	U
+ｖ	v
+Ｖ	V
+ｗ	w
+Ｗ	W
+ｘ	x
+Ｘ	X
+ｙ	y
+Ｙ	Y
+ｚ	z
+Ｚ	Z

itn/japanese/data/char/hiragana_and_katakana.tsv

@@ -0,0 +1,160 @@
+あ
+い
+う
+え
+お
+か
+き
+く
+け
+こ
+さ
+し
+す
+せ
+そ
+た
+ち
+つ
+て
+と
+な
+に
+ぬ
+ね
+の
+は
+ひ
+ふ
+へ
+ほ
+ま
+み
+む
+め
+も
+や
+ゆ
+よ
+ら
+り
+る
+れ
+ろ
+わ
+を
+ん
+ア
+イ
+ウ
+エ
+オ
+カ
+キ
+ク
+ケ
+コ
+サ
+シ
+ス
+セ
+ソ
+タ
+チ
+ツ
+テ
+ト
+ナ
+ニ
+ヌ
+ネ
+ノ
+ハ
+ヒ
+フ
+ヘ
+ホ
+マ
+ミ
+ム
+メ
+モ
+ヤ
+ユ
+ヨ
+ラ
+リ
+ル
+レ
+ロ
+ワ
+ヲ
+ン
+が
+ぎ
+ぐ
+げ
+ご
+ざ
+じ
+ず
+ぜ
+ぞ
+だ
+ぢ
+づ
+で
+ど
+ば
+び
+ぶ
+べ
+ぼ
+ぱ
+ぴ
+ぷ
+ぺ
+ぽ
+ガ
+ギ
+グ
+ゲ
+ゴ
+ザ
+ジ
+ズ
+ゼ
+ゾ
+ダ
+ヂ
+ヅ
+デ
+ド
+バ
+ビ
+ブ
+ベ
+ボ
+パ
+ピ
+プ
+ペ
+ポ
+ャ
+ァ
+ィ
+ュ
+ッ
+ゥ
+ェ
+ョ
+ォ
+ぁ
+ぃ
+ぅ
+ぇ
+ぉ
+っ
+ゃ
+ゅ
+ょ

itn/japanese/data/char/oov_tags.tsv

@@ -0,0 +1 @@
+<oov>	</oov>

itn/japanese/data/char/punctuations_ja.tsv

@@ -0,0 +1,72 @@
+！
+？
+｡
+。
+＂
+＃
+＄
+％
+＆
+＇
+（
+）
+＊
+＋
+，
+－
+／
+：
+；
+＜
+＝
+＞
+＠
+［
+＼
+］
+＾
+＿
+｀
+｛
+｜
+｝
+～
+｟
+｠
+｢
+｣
+､
+、
+〃
+》
+「
+」
+『
+』
+【
+】
+〔
+〕
+〖
+〗
+〘
+〙
+〚
+〛
+〜
+〝
+〞
+〟
+〰
+–
+—
+‘
+’
+‛
+“
+”
+„
+‟
+…
+‧
+﹏

itn/japanese/data/date/day.tsv

@@ -0,0 +1,31 @@
+一	1
+二	2
+三	3
+四	4
+五	5
+六	6
+七	7
+八	8
+九	9
+十	10
+十一	11
+十二	12
+十三	13
+十四	14
+十五	15
+十六	16
+十七	17
+十八	18
+十九	19
+二十	20
+二十一	21
+二十二	22
+二十三	23
+二十四	24
+二十五	25
+二十六	26
+二十七	27
+二十八	28
+二十九	29
+三十	30
+三十一	31

itn/japanese/data/date/month.tsv

@@ -0,0 +1,12 @@
+一	1
+二	2
+三	3
+四	4
+五	5
+六	6
+七	7
+八	8
+九	9
+十	10
+十一	11
+十二	12

itn/japanese/data/date/week.tsv

@@ -0,0 +1,14 @@
+月曜日	月
+月曜	月
+火曜日	火
+火曜	火
+水曜日	水
+水曜	水
+木曜日	木
+木曜	木
+金曜日	金
+金曜	金
+土曜日	土
+土曜	土
+日曜日	日
+日曜	日