JavaSE BOM付きUTF8ファイルを読み込むとどうなるか？

目次

FrontPage
・Chromebook
・Random
・機械学習
・さくらVPS
・Fedora13
・SuSe10
・Docker
・Ansible
・Java
・Scala
・Python
・Ruby
・Lisp
・Computer
・GIS
・HTML
・Culture
・Link

訪問者

total: 34857
today: 2
yesterday: 4
now: 14

更新

最新の10件

人気の10件

MenuBar

UTF8とBOMについて †

• Unicode では、データの最初にエンコーディング方式を示す BOM (Byte Order Mark) をつける
• UTF-16 の場合には、BE(Big Endian) か LE(Little Endial) かを示す

  符号化	BOM文字	Endian
  UTF-16BE	つけてはいけない	Big Endian
  UTF-16LE	つけてはいけない	Little Endian
  UTF-16	つけない	Big Endian
  	FE FF	Big Endian
  	FF FE	Little Endian

  http://www.ietf.org/rfc/rfc2781.txt#section-3
• UTF-8 の場合には、UTF-8で有ることを示すために BOM 文字を入れても良い

  符号化	BOM文字	Endian
  UTF-8	つけない	(なし)
  	EF BB BF	(なし)

  http://tools.ietf.org/html/rfc3629#section-6
  • 扱うデータが UTF-8 決め打ちなら、データの最初にも途中にもBOM文字を使うのを禁止すべき。どの文字エンコーディングが使われるか分からないなら、BOM文字を使うのを禁止すべきではない。
  • 要は、（RFC的には）UTF-8 を扱うプログラムを作る時には、BOM が有っても無くてもきちんと処理できるようにしろってことか・・・

Javaで、UTF-8文書を扱う場合の BOM †

• Javaでは、UTF-8といったら、BOMなしのUTF-8 を想定しているようだ
• いろいろ議論はあるけれど、後方互換性の問題から対処するつもりはなさそうだ
  • Bug ID 4508058 : UTF-8 encoding does not recognize initial BOM
  • Bug ID 4740482 : Does not parse UTF-8 XML with UTF-8 marker byte
  • Bug ID 6206835 : Byte Order Mark not supported by default SaxParser
  • Bug ID 6378911 : UTF-8 decoder handling of byte-order mark has changed
• 個人的には、US-ASCII との前方互換性を満たすために UTF-8には BOM 文字は使わない方がよいのではないかと思う
  • UTF-8の 1byte 文字は US-ASCII と同じ
  • マルチバイト文字を未定義文字と見なせば、BOMなしUTF-8 の「作業指示書」を US-ASCII を見なして実行できる。
    • 実行するのは、ShellスクリプトやPerlなどの汎用インタプリタはもとより、設定ファイルとスクリプトの相の子のようなファイルを元に動くバッチプログラム。
    • たいてい実行命令は US-ASCII でかかれて、マルチバイト文字はデータやログにしか出てこない。US-ASCII を想定して書かれたプログラムでも、マルチバイト文字をそのまま syslog や ファイルIOに渡してくれれば特に問題は起きない。

Javaで、BOM付きのUTF-8文書を読んでみる †

• 読み込む文書( BOM付きUTF-8 )

  123456789
  abcdefghi
  あいうえお

• 読み込みプログラム

  import java.io.BufferedReader;
  import java.io.InputStreamReader;
  
  public class UTF8TextExam {
  
    /**
     * @param args
     */
    public static void main(String[] args) {
  
      try {
  
        BufferedReader reader = new BufferedReader(new InputStreamReader(
            ClassLoader.getSystemResourceAsStream("UTF8.txt"), "UTF-8"));
  
        String line;
        while ((line = reader.readLine()) != null) {
  
          for (int cnt = 0; cnt < line.length(); cnt++) {
            char ch = line.charAt(cnt);
            System.out.print("[" + ch + "]:" + toCharCode(ch));
  
          }
  
          System.out.print("\n");
        }
      } catch (Exception e) {
        e.printStackTrace();
      }
  
    }
  
    private static String toCharCode(char ch) {
      String ret = "0000" + Integer.toHexString(ch & 0xffff);
      return ret.substring(ret.length() - 4);
    }
  }
  

• 読み込み結果

  [?]:feff[1]:0031[2]:0032[3]:0033[4]:0034[5]:0035[6]:0036[7]:0037[8]:0038
  [9]:0039[a]:0061[b]:0062[c]:0063[d]:0064[e]:0065[f]:0066[g]:0067[h]:0068
  [i]:0069[あ]:3042[い]:3044[う]:3046[え]:3048[お]:304a

  最初の一文字目が BOM 文字になっている

Javaで、UTF-8文書を扱う時に具体的に注意するシーン †

• Javaプログラムで独自形式の設定ファイルの読み込むとき
• JavaプログラムでXML文書を読み込む時
• Windows の notepad(メモ帳) は、BOM付きのUTF-8 形式でファイルを記録するので、notepad(メモ帳)では、これらの文書を編集してはいけない

Java