UTF-8 を Base64 に：Unicode テキストと絵文字をエンコード

UTF-8 テキストを Base64 にエンコードする方法

1. 入力 · テキスト にテキストを入力するか貼り付けます。文字コード はすでに UTF-8 に設定されています。
2. Base64 は 出力 · Base64 に表示されます。ツールの下の 入力 の数値は UTF-8 のバイト数です。ボックスの上のカウンターは JavaScript と同じ方法で文字を数えるので、絵文字は 2 と数えられます。
3. URL やトークン用には URLセーフ（- _） と パディングなし（=） にチェックを入れ、メールや PEM 用には 折り返し を選びます。
4. 出力をコピーするか、base64.txt としてダウンロードします。

結果をテキストに戻すには Base64 を UTF-8 に を使います。

UTF-8 が文字をバイト列に変える仕組み

UTF-8 は 1 つのコードポイントに 1～4 バイトを使います。ASCII は 1 バイトのままなので、英語のテキストは UTF-8 でも ASCII でも同じようにエンコードされます。それ以外はもっと多くのバイトを使います。

Base64 はバイト数にさらに 3 分の 1 を加えるので、中国語や日本語の文は、文字数から Base64 の文字数にするとおよそ 4 倍になり、絵文字 1 つだけでも 8 文字になります。長さに上限のあるフィールドでは注意してください。サイズ計算ツール が役立ちます。

絵文字のシーケンスと肌の色

1 つの絵文字に見えても、実際には複数のコードポイントがつながっていることがよくあります。肌の色は独立した修飾子で、家族や職業の絵文字は目に見えないゼロ幅接合子（U+200D）で複数の人物をつないでいます。

Base64 文字列やそのデコード後のバイト列をこうしたシーケンスの途中で切ると、文字が壊れます。エンコードした UTF-8 を任意のバイト位置で切り詰めないでください。

同じテキストでもバイト列が違う：Unicode 正規化

Unicode では、2 通りの正しい書き方を持つ文字があります。é は単一のコードポイント U+00E9（合成済み、NFC）にも、e の後に U+0301 COMBINING ACUTE ACCENT が続く形（分解済み、NFD）にもなります。表示はまったく同じですが、バイト列は異なります。

Apple の古い HFS+ ファイルシステムではファイル名が分解済みの形で保存されますが、ほとんどのキーボードは合成済みのテキストを入力します。Base64 の値を比較したり、署名したり、キーとして使ったりする場合は、先に正規化してください。このツールは貼り付けたコードポイントをそのままエンコードし、正規化は行いません。

コードで UTF-8 を Base64 に

JavaScript の TextEncoder は常に UTF-8 を出力します。入力の出どころがまちまちな場合は、先に正規化してください。

const text = "e\u0301".normalize("NFC");
Buffer.from(text, "utf8").toString("base64");   // "w6k=" (Node.js)
new TextEncoder().encode(text);                  // Uint8Array [195, 169]

ブラウザでは、TextEncoder のバイト列を、対応していれば bytes.toBase64()（Uint8Array.toBase64）に渡すか、JavaScript のページ にある btoa のヘルパーを通します。

import base64, unicodedata

s = unicodedata.normalize("NFC", "nai\u0308ve")
base64.b64encode(s.encode("utf-8")).decode()   # 'bmHDr3Zl'

ファイルやストリーム処理については Python での Base64 を参照してください。

よくある質問