Rilling studierte u. a. bei Johann Nepomuk David und Leonard Bernstein. Seit den 1970er-Jahren gehört er zu den weltweit führenden Interpreten der Musik Johann Sebastian Bachs, die er mit mehreren eigenen Ensembles aufführt: 1954 gründete er die Gächinger Kantorei, deren Repertoire vom Barock bis zur Uraufführung zeitgenössischer Werke reicht, und 1965 das Bach-Collegium Stuttgart, die