NihonGo

NihonGo is an utility of Japanese text for Go language.

go get github.com/dogenzaka/nihongo

Features

• Converting Katakana / Hiragana
• Unicode normalization
• Detecting Katakana / Hiragana strings in text
• Simple Japanese tokenizer ported TinySegmenter

Examples

import (
"fmt""github.com/dogenzaka/nihongo"
)
funcTestNormalize() {
normalized:=nihongo.Normalize("テストﾃｽﾄ＋＝")
fmt.Println(normalized) // テストテスト+=
}
funcTestToHiragana() {
hira:=nihongo.ToHiragana("テストてすと")
fmt.Println(hira) // てすとてすと
}
funcTestToKatakana() {
kana:=nihongo.ToKatakana("テストてすと")
fmt.Println(kana) // テストテスト
}
funcTestTokenize() {
words:=nihongo.Tokenize("私は人間です")
fmt.Println(words) // ["私" "は" "人間" "です"]
}
funcTestContainsHiragana() {
nihongo.ContainsHiragana("ひらがな") // truenihongo.ContiansHiragana("日本語") // false
}
funcTestContainsKatakana() {
nihongo.ContainsKatakana("カタカナ") // truenihongo.ContiansKatakana("日本語") // false
}

License

ISC