UTF-16 в Base64: кодирование текста в UTF-16LE и UTF-16BE

Как закодировать текст в Base64 через UTF-16

1. Введите или вставьте текст в поле Ввод · текст. В поле Кодировка уже выбрана UTF-16LE.
2. Скопируйте Base64 из поля Результат · Base64. Счётчик Ввод показывает число байтов в UTF-16: для обычного английского текста оно вдвое больше длины.
3. Если получатель работает с big-endian, переключите поле Кодировка на UTF-16BE.
4. Поменять местами снова декодирует результат для быстрой проверки; есть и отдельный декодер, Base64 в UTF-16.

UTF-16LE и UTF-16BE

UTF-16 хранит каждый символ как одну или две 16-битные кодовые единицы. Little-endian пишет сначала младший байт, big-endian начинает со старшего. Windows и .NET используют little-endian, а кодировщик UTF-16 в Java и многие сетевые форматы используют big-endian.

Символы за пределами базовой многоязычной плоскости (BMP), включая все эмодзи, занимают две кодовые единицы, так называемую суррогатную пару. 👋 (U+1F44B) превращается в D83D DC4B, это и есть 4 байта в последней строке.

Частые буквы A выдают Base64 от UTF-16: каждая ASCII-буква идёт в паре с нулевым байтом. Если вы видите их в строке Base64, это хороший намёк декодировать её как UTF-16.

Где используется Base64 от UTF-16

• PowerShell -EncodedCommand. powershell -EncodedCommand RwBlAHQALQBEAGEAdABlAA== выполняет Get-Date. Частая причина, по которой такие команды не работают: скрипт закодирован в UTF-8. Инструмент PowerShell EncodedCommand добавляет префикс команды, предупреждает об ограничении длины в cmd.exe и умеет декодировать команды, найденные в логах.
• Код на .NET. Encoding.Unicode в C# означает UTF-16LE, поэтому Convert.ToBase64String(Encoding.Unicode.GetBytes(s)) даёт тот же результат, что и эта страница.
• Данные Windows. Строки из реестра, из столбцов NVARCHAR, приведённых к binary в SQL Server, и из многих API Windows хранятся в UTF-16LE.

Метка порядка байтов

Этот инструмент не пишет метку порядка байтов (BOM), и именно этого ждут PowerShell и большинство API. Некоторые библиотеки добавляют её автоматически:

Если ваш Base64 должен совпасть с одним из этих вариантов, кодируйте в коде с явным порядком байтов, как ниже.

UTF-16 в Base64 в коде

import base64

base64.b64encode("Get-Date".encode("utf-16-le")).decode()   # 'RwBlAHQALQBEAGEAdABlAA=='
base64.b64encode("Hi".encode("utf-16-be")).decode()         # 'AEgAaQ=='

// Node.js has a little-endian codec only
Buffer.from("Get-Date", "utf16le").toString("base64");   // "RwBlAHQALQBEAGEAdABlAA=="

[Convert]::ToBase64String([Text.Encoding]::Unicode.GetBytes('Get-Date'))

В Python используйте utf-16-le, а не utf-16, если BOM вам не нужен. Больше примеров: Python, Node.js.

Вопросы и ответы