Karl-Josef Rauber studierte Philosophie und Theologie an der Johannes Gutenberg-Universität Mainz. Er wurde 1959 zum Priester geweiht, war anschließend Kaplan in Nidda; ab 1962 Studium des Kirchenrechts an der Päpstlichen Universität Gregoriana in Rom (Promotion 1966), parallel auch Besuch der dortigen Päpstlichen Diplomatenakademie. Ab 1966 Tätigkeit im Vatikanischen Staatssekretariat zu