2026-10-11
next_token.cpp
#include <string_view>
std::string_view next_token(std::string_view& rest, char delim) {
}
rest の先頭から区切り文字 delim の手前までを1語として返し、rest をその区切り文字の直後から始まるように縮める next_token を書いてください。rest に delim がなければ rest 全体を返して rest を空にし、rest が空なら空の語を返します。区切り文字が連続している所では、間の空の語を返します。
入力例 1
rest = "a,b,c"; next_token(rest, ',')
出力例 1
"a" (rest = "b,c")
入力例 2
rest = "abc"; next_token(rest, ',')
出力例 2
"abc" (rest = "")
入力例 3
rest = "a,,b"; next_token(rest, ',')
出力例 3
"a" (rest = ",b")
Reference
#include <string_view>
std::string_view next_token(std::string_view& rest, char delim) {
auto pos = rest.find(delim);
auto token = rest.substr(0, pos);
rest = pos == std::string_view::npos ? std::string_view{} : rest.substr(pos + 1);
return token;
}
find が返した位置までを substr で切り出し、rest はその1文字先から残りを指すように付け替えます。find が npos を返したとき、substr(0, npos) は残り全部になります。一方 rest.substr(npos + 1) は、npos + 1 が符号なし整数の巻き戻りで 0 になるため rest 全体を返してしまい、呼び出し側のループが終わりません。そこでこの場合だけ空の string_view を入れます。
strtok は、どこまで読んだかを関数の中の静的変数に覚えています。そのため、2つの文字列を交互に分割すると互いの位置を上書きし、分割の途中で別の文字列を分割する関数を呼ぶこともできません。next_token はその位置を引数の rest として呼び出し側に持たせるので、rest を2つ用意すれば2つの分割を交互に進められます1。返す語は元の文字列の一部を指す string_view なので、元の文字列より長く使ってはいけません。
掲載したのは参考実装で、唯一の正解ではありません。npos の場合を if で先に分けて返す書き方でもかまいません。
- POSIX の
strtok_rと C11 の附属書 K のstrtok_sは、読んだ位置を引数で呼び出し側に持たせる版のstrtokです。