Namaran

Code daily. Without assist.

2026-09-17

tokens.c

#include <ctype.h>
#include <stdio.h>

void print_tokens(const char *s) {
    const char *p = s;
    while (*p != '\0') {
        unsigned char c = (unsigned char)*p;
        if (isspace(c)) {
            p++;
            continue;
        }
        const char *start = p;
        if (isalpha(c) || c == '_') {
            p++;
            while (isalnum((unsigned char)*p)) {
                p++;
            }
        } else if (isdigit(c)) {
            p++;
            while (isdigit((unsigned char)*p)) {
                p++;
            }
        } else {
            p++;
        }
        printf("[%.*s]", (int)(p - start), start);
    }
    printf("\n");
}

int main(void) {
    print_tokens("max_len = 10");
    return 0;
}

print_tokens は、文字列を識別子・数値・記号のトークンに分け、1つずつ [ ] で囲んで表示するつもりの関数です。入力は print_tokens("max_len = 10")。いまの出力は [max][_len][=][10] ですが、本来の出力は [max_len][=][10] です。本来の出力になるよう直してください。

Answer

識別子の1文字目と2文字目以降とで、受け入れる文字の条件が食い違っています。1文字目の判定 isalpha(c) || c == '_' は _ を含みますが、続きを読む while の条件は isalnum((unsigned char)*p) だけで、_ が入っていません。そのため max を読んだところで _ に当たってループを抜け、識別子がいったん閉じます。次の周回では _ が1文字目の条件を満たすので、そこから _len という別の識別子が始まります。

続きの条件にも _ を足せば直ります。

            while (isalnum((unsigned char)*p) || *p == '_') {

Cの識別子も、1文字目に使えるのは英字と _、2文字目以降はそれに数字が加わる、という2段の規則でできています1。字句解析器では「始まり」と「続き」を別々の条件で書くことが多く、片方だけに文字を足してもう片方を忘れると、このずれが起きます。

  1. C23 の 6.4.2 では、英字と _ のほかに、Unicode の XID_Start に属する文字も1文字目に、XID_Continue に属する文字も2文字目以降に使えます。