Höller wurde 1949 Leiter einer Meisterklasse für Komposition an der Musikhochschule München (1954–72 Präsident). Seine Kompositionen sind der Spätromantik von A. Bruckner bis M. Reger verpflichtet, zeigen aber auch Einflüsse von P. Hindemith und C. Debussy. Er schrieb Orchesterwerke (»Hymnen«, 1933; »Sweelinck-Variationen«, 1951), Kammer-, Klavier- und Orgelmusik, Chorwerke und Lieder.