2026-10-27
split_utf8.rs
fn main() {
let stream = "café\nok\n".as_bytes();
let mut pending = String::new();
let mut widths = Vec::new();
for segment in stream.chunks(4) {
pending.push_str(&String::from_utf8_lossy(segment));
while let Some(i) = pending.find('\n') {
let line: String = pending.drain(..=i).collect();
widths.push(line.trim_end().chars().count());
}
}
println!("{widths:?}");
}
これは何を出力するでしょうか?
Answer
[5, 2] です。
é は UTF-8 では 0xC3 0xA9 の2バイトなので、stream は c a f 0xC3 0xA9 \n o k \n の9バイトです。chunks(4) はこれを先頭から4バイトずつに切るので、断片は c a f 0xC3、0xA9 \n o k、\n の3つになり、最初の切れ目が é の2バイトの間に入ります。TCPもメッセージの区切りに関係なくバイト列を届けるので、受け取った断片でも同じことが起こりえます。
String::from_utf8_lossy は断片を1つずつ文字列にします。1つ目の断片の末尾の 0xC3 は続きのバイトが無く、2つ目の断片の先頭の 0xA9 は文字の途中のバイトなので、どちらも UTF-8 として正しくありません。from_utf8_lossy は正しくない並びを置換文字(replacement character)U+FFFD に置き換えるので、0xC3 と 0xA9 は別々に1つずつ、合わせて2つの置換文字になります。
pending は断片をつなぎ、改行が来るまで行を待ちます。2つ目の断片を足すと pending は caf と置換文字2つ、改行、ok になり、1行目が取り出されます。行はつながっても、é のバイトはつなぐ前に置換文字へ変わっているので元に戻らず、改行を除いた1行目は5文字です。ok は3つ目の断片の改行が来た時点で取り出され、2文字です。
pending が断片をつなぎ直すので café の4文字に戻ると読むと、[4, 2] と答えることになります。切れた1文字が置換文字1つになると読んでも、同じく4です。正しく読むには、バイトのまま Vec<u8> に溜めて改行の位置で切り、行ごとに文字列にします。UTF-8 では改行のバイト 0x0A が多バイト文字の途中に現れないので、改行で切ればどの行も文字の途中で切れません。