Hallo, nein, das leere Wort gehört nicht zu der Sprache, wegen des Dollarzeichen. Das $-Zeichen muss immer in dem Wort enthalten sein, wenn es zur Sprache gehören soll. (Man muss immer auf die Definition achten, lambda gehört nicht automatisch zur Sprache, wenn im linken Teil E* steht)
Daher kann der Kellerautomat nicht direkt in den Endzustand, wie du richtig festgestellt hast