Generell gilt, das Platzhalter für die robots.txt nicht vorgesehen sind. Der Googlebot kann jedoch verschiedene Platzhalter in der robots.txt verstehen.

Möglich sind folgende Platzhalter:

* = Sternchen = steht für eine beliebige Zeichenfolge
$ = Dollarzeichen = steht als Platzhalter für das Ende einer URL

Beispiele:

User-agent: Googlebot
Disallow: /geheim*/

Dies sperrt alle Zugriffe für Googlebot, die mit der Zeichenkette "geheim" beginnen, also z.B.
/geheime-bilder/...
/geheime-texte/...
usw.

User-agent: Googlebot
Disallow: /*?

Dies sperrt alle Zugriffe für Googlebot, die ein Fragezeichen in der URL beinhalten.

User-agent: Googlebot
Disallow: *.php$

Dies sperrt alle Zugriffe auf Dateien, die mit der Dateierweiterung ".php" enden.