Namaran

Code daily. Without assist.

2026-10-27

split_utf8.rs

fn main() {
    let stream = "café\nok\n".as_bytes();
    let mut pending = String::new();
    let mut widths = Vec::new();
    for segment in stream.chunks(4) {
        pending.push_str(&String::from_utf8_lossy(segment));
        while let Some(i) = pending.find('\n') {
            let line: String = pending.drain(..=i).collect();
            widths.push(line.trim_end().chars().count());
        }
    }
    println!("{widths:?}");
}

これは何を出力するでしょうか?

Answer

[5, 2] です。

é は UTF-8 では 0xC3 0xA9 の2バイトなので、stream は c a f 0xC3 0xA9 \n o k \n の9バイトです。chunks(4) はこれを先頭から4バイトずつに切るので、断片は c a f 0xC3、0xA9 \n o k、\n の3つになり、最初の切れ目が é の2バイトの間に入ります。TCPもメッセージの区切りに関係なくバイト列を届けるので、受け取った断片でも同じことが起こりえます。

String::from_utf8_lossy は断片を1つずつ文字列にします。1つ目の断片の末尾の 0xC3 は続きのバイトが無く、2つ目の断片の先頭の 0xA9 は文字の途中のバイトなので、どちらも UTF-8 として正しくありません。from_utf8_lossy は正しくない並びを置換文字(replacement character)U+FFFD に置き換えるので、0xC3 と 0xA9 は別々に1つずつ、合わせて2つの置換文字になります。

pending は断片をつなぎ、改行が来るまで行を待ちます。2つ目の断片を足すと pending は caf と置換文字2つ、改行、ok になり、1行目が取り出されます。行はつながっても、é のバイトはつなぐ前に置換文字へ変わっているので元に戻らず、改行を除いた1行目は5文字です。ok は3つ目の断片の改行が来た時点で取り出され、2文字です。

pending が断片をつなぎ直すので café の4文字に戻ると読むと、[4, 2] と答えることになります。切れた1文字が置換文字1つになると読んでも、同じく4です。正しく読むには、バイトのまま Vec<u8> に溜めて改行の位置で切り、行ごとに文字列にします。UTF-8 では改行のバイト 0x0A が多バイト文字の途中に現れないので、改行で切ればどの行も文字の途中で切れません。