2026-09-17
tokens.c
#include <ctype.h>
#include <stdio.h>
void print_tokens(const char *s) {
const char *p = s;
while (*p != '\0') {
unsigned char c = (unsigned char)*p;
if (isspace(c)) {
p++;
continue;
}
const char *start = p;
if (isalpha(c) || c == '_') {
p++;
while (isalnum((unsigned char)*p)) {
p++;
}
} else if (isdigit(c)) {
p++;
while (isdigit((unsigned char)*p)) {
p++;
}
} else {
p++;
}
printf("[%.*s]", (int)(p - start), start);
}
printf("\n");
}
int main(void) {
print_tokens("max_len = 10");
return 0;
}
print_tokens は、文字列を識別子・数値・記号のトークンに分け、1つずつ [ ] で囲んで表示するつもりの関数です。入力は print_tokens("max_len = 10")。いまの出力は [max][_len][=][10] ですが、本来の出力は [max_len][=][10] です。本来の出力になるよう直してください。
Answer
識別子の1文字目と2文字目以降とで、受け入れる文字の条件が食い違っています。1文字目の判定 isalpha(c) || c == '_' は _ を含みますが、続きを読む while の条件は isalnum((unsigned char)*p) だけで、_ が入っていません。そのため max を読んだところで _ に当たってループを抜け、識別子がいったん閉じます。次の周回では _ が1文字目の条件を満たすので、そこから _len という別の識別子が始まります。
続きの条件にも _ を足せば直ります。
while (isalnum((unsigned char)*p) || *p == '_') {
Cの識別子も、1文字目に使えるのは英字と _、2文字目以降はそれに数字が加わる、という2段の規則でできています1。字句解析器では「始まり」と「続き」を別々の条件で書くことが多く、片方だけに文字を足してもう片方を忘れると、このずれが起きます。
- C23 の 6.4.2 では、英字と
_のほかに、Unicode の XID_Start に属する文字も1文字目に、XID_Continue に属する文字も2文字目以降に使えます。