nkf Network Kanji Filter

Fork

「日本語①」の時だけ判定を誤るのを不思議に思っています。 不思議なので理由だけでも分かるとありがたいです

気になったので調べてみました。

「日本語①」 の 文字解析をデバッグ実行した結果を連携します。

nkf の内部では 入力された文字を 1バイトづつ バッファにためておいて

EUC,SJIS,UTF-8 として評価してみて 一番良いスコアの物を採用するというロジックになっています。

「日本語①」 の 場合 SJIS だと 「ｿ譌･譛ｬ隱樞蔵」になって「漢字,半角カタカナ」と判定されスコアは 131 になります。

EUC だと 変換できない文字があるので 変換エラーフラグが立ち、スコアは非常に悪くなります。

UTF-8 の場合 w_status 関数の中で w2e_conv 関数を呼び unicode_to_jis_common で JIS に変換するために

code_score 関数の中で 「日本語」は漢字として判定されず「①」だけが JIS コード 2D21 に変換され これが 「英数字」 と判定され スコアは 132 となりました。

スコアは小さいほどよく SJIS が 選択される状況となりました。

「①」が来る前までは UTF-8 は 「初期状態」で スコア 128 となっており ① が来るまでは UTF-8 が選択される状況でした。

※ w_status 関数で w2e_conv を呼んだあとで JIS → SJIS 変換 すると UTF-８ でも「漢字」と判定され 　UTF-8 の「日本語①」も UTF-8 と判定されるようになるのでは？と思います。

修正してみて、うまく動くようなら バグ修正の プルリクエスト出してみます

kkato233

テストしたら 上記の説明違っていました。 説明消すことできなかったので追記します。

まず追加の調査で分かったのは code_score 関数は JIS または EUC の文字コードで スコア判定する物でした。

スコアで「漢字」だと思っていたのは「第2水準の漢字」でした。

「①」は 環境依存文字という事で 「第2水準の漢字」「半角カナ」よりもスコアが悪いようです。

結論として

UTF-8 の 「日本語①」は

nkf の内部では 評価されたとき

UTF-8 で 「日本語①」　　 が 「漢字,環境依存文字」と評価され スコアが 132 となり

SJIS では 「ｿ譌･譛ｬ隱樞蔵」が「第2水準漢字、半角カナ」と評価され スコアが 131 となりました。

①が入ると スコアの悪い UTF-8 の方がスコアが悪くなり SJIS と判定されます。

「日本語①あ」に すると SJIS で表現できない文字が含まれる事になり SJIS のスコアが 387 となり UTF-8 のスコアの方がよくなるため UTF-8 となります。

結論： 　「①」は環境依存文字で「半角カナ」や「第2水準漢字」よりも評価が悪い。

　たまたま SJIS で 表示できる文字の場合 SJIS の方が優先されることがある。

　nkf の現在の内部のスコア判定の仕組みでは 回避できない現象のようです。

質問者です。反応遅く申し訳ありません。

調べていただきありがとうございます。スコア判定の仕組みによるものとのことで納得しました。