BOM(バイト順マーク）を削除することはよくあるんだけど、つけたことってあまりなかった。
エディタの機能を使えばできるものもあるけど、大量なファイルをいちいちエディタで開いて処理するわけにもいかないので、コマンドでまとめて処理したい、そんなとき。
結論としては、uconvを使えば割と手軽にBOMを付けたり消したりできる。
「BOMのマークの文字なんだったっけ？」とか考えなくてもよい方法
BOMの確認
fileコマンドを使う。
$ file *.cpp foo.cpp: UTF-8 Unicode text bar.cpp: UTF-8 Unicode (with BOM) text
BOMが付いてるテキストは「(with BOM)」となるので、エディタなどで開かずにBOMが付いてるかどうかを確認できる。
例
現在のディレクトリ以下にあるC++のソースファイル（c,h,cpp,hpp）でBOMが付いてないファイルのファイル名を取り出すには
find . -type f \( -name '*.[ch]' -o -name '*.cpp' -o -name '*.hpp' \) -exec file {} + | grep -v "(with BOM)" | cut -d: -f1
BOMが付いてるファイル名を取り出すにはgrepの-vを取って、
find . -type f \( -name '*.[ch]' -o -name '*.cpp' -o -name '*.hpp' \) -exec file {} + | grep "(with BOM)" | cut -d: -f1
BOMの追加と削除
uconvを使う。
詳しくは、International Components for Unicode http://site.icu-project.org/
debianの場合最初から使えたけど、ない人はaptitudeでlibicu-dev辺りを入れればいいんだと思う。Windowsのバイナリもある。
BOMを追加する
uconv -f utf-8 -t utf-8 --add-signature foo.cpp > foo_bom.cpp
BOMを削除する
uconv -f utf-8 -t utf-8 --remove-signature bar.cpp > bar_nobom.cpp
出力ファイルに入力ファイルと同じ名前を指定して消してしまわないように注意。
-fと-tはプラットホームのエンコーディングがutf-8以外の場合は省略するとうまくいかないことがあるので明示してる。
localeコマンドを実行してLANG=ja_JP.utf8とかだったら-f,-tオプションは省略できるよ。
上のBOMの確認の例と組み合わせれば、お手軽にまとめて変換できるね。
なんでBOMつけようとか思ったの
Windowsにつけろって言われたから。
VC++はBOM付きUTF-8
UTF-8はバイト順に依らないので、本当はBOMは要らないのだけどWindowsのVisual Studio C++では、BOM付きじゃないとUTF-8で書かれてるかどうか判断できないらしい。
ソースにマルチバイト文字を含んでる場合にはコンパイル時にC4819という警告が出て、正しく動作しないことがある。
ソースコードにUTF-8を使う場合はBOMつきのみサポート。
gccはどっちでもよい
でもgccはBOMどうなの？と思ったらBOM付きで問題なくコンパイルできる。この辺で直ったようだ
BOM付けてはいけないみたいな文書を見かけるが、イマドキは意外と付いててもなんとかなる。