Base64 в UTF-8: декодирование Base64 в текст Unicode

Как декодировать Base64 в UTF-8

1. Вставьте Base64 в поле Ввод · Base64. В поле Кодировка уже выбран UTF-8.
2. Результат появится в поле Результат · текст. Строка статуса показывает число байтов и определённый тип содержимого.
3. Если в строке статуса написано «Часть байтов не читается как UTF-8», текст в другой кодировке. Попробуйте Автоопределение, Windows-1252 или UTF-16LE.
4. Скопировать результат копирует текст, Скачать сохраняет декодированные байты без изменений.

Для обратного направления есть UTF-8 в Base64.

Примеры

Последние три строки показывают случаи, которые стоит узнавать с первого взгляда.

Некорректный UTF-8 и символ замены

Правила UTF-8 строгие: байт больше 7F должен входить в последовательность из 2, 3 или 4 байтов с фиксированным шаблоном. Байты, которые нарушают шаблон, прочитать как UTF-8 нельзя. Декодер заменяет каждую битую последовательность на U+FFFD (�) и добавляет пометку «Часть байтов не читается как UTF-8. Попробуйте другую кодировку». Молча ничего не выбрасывается, поэтому каждый � указывает точное место проблемы.

Почти всегда причина одна из двух:

• Другая кодировка. В Y2Fm6Q== лежат байты 63 61 66 E9, то есть café в ISO-8859-1 и Windows-1252. Смените Кодировку, и текст появится. На странице декодера Base64 собраны типичные симптомы для каждой кодировки.
• Обрезанная строка. Если Base64 обрезали, например из-за ограничения длины столбца в базе данных или строки лога, последний символ может лишиться части байтов. 8J+YgA== кодирует целый эмодзи, а 8J+Y тот же эмодзи без последнего байта, и декодируется он в один �. Ищите полное значение в источнике.

Двойная кодировка (é и ’)

Если вместо é выводится é, вместо ü появляется ü, а вместо типографского апострофа ’, декодер не виноват. Где-то раньше байты UTF-8 прочитали как Windows-1252 и снова сохранили в UTF-8, и каждый особый символ превратился в два-три неправильных. Base64 честно хранит этот испорченный текст: Y2Fmw4PCqQ== содержит корректный UTF-8 для семибайтовой строки café.

Часто такую строку можно починить в коде, повторив ошибку в обратную сторону: закодировать текст в Windows-1252 и прочитать байты как UTF-8. Но по-настоящему исправлять нужно систему, которая его записала.

Метка порядка байтов (BOM)

Некоторые редакторы, особенно в Windows, начинают файлы UTF-8 с метки порядка байтов, то есть с байтов EF BB BF. В Base64 такой файл начинается с 77u/. Декодер распознаёт метку и не включает её в текст, а Скачать сохраняет байты в точности как были. В коде её, возможно, придётся убрать самостоятельно:

import base64

raw = base64.b64decode("77u/SGk=")
raw.decode("utf-8")       # '\ufeffHi'
raw.decode("utf-8-sig")   # 'Hi'

base64.b64decode("Y2Fm6Q==").decode("utf-8", errors="replace")   # 'caf�'

Без errors="replace" Python выбрасывает UnicodeDecodeError на некорректных байтах. В JavaScript new TextDecoder("utf-8", { fatal: true }) вместо вставки � выбрасывает TypeError, а декодер по умолчанию убирает BOM так же, как этот инструмент. Подробнее в статьях Base64 в Python и Base64 в JavaScript.

Вопросы и ответы