magic comment

コメントに意味を持たせるぐらいなら、文法拡張しないのはなんで？

文法解釈の時点で、すでにエンコーディングが決定している必要があるからかと思います。magic comment は 1 行目か SheBang の次の行なので、安心。

それにしても、コメントに言語的な意味を持たせるってのは気持ち悪いなぁ。

今でも SheBang を解釈してますし、前述のとおり Ruby の文法本体が始まる前に決定しないという要請があるわけで、comment ではなく magic comment であると解釈するのが、おそらく無難な妥協点かなと。