Rudolf II. von Österreich entstammte dem Haus Habsburg und gehörte zur Generation der Kinder des römisch-deutschen Königs Rudolf I. und der Gertrud von Hohenberg. In einer Zeit, in der die Habsburger ihre Herrschaft im süddeutschen und österreichischen Raum festigten, wurde er gemeinsam mit seinem älteren Bruder Albrecht in die dynastischen und politischen Planungen seines Vaters einbezogen. Die Familie befand sich damals im Prozess des Aufstiegs von einer regionalen Adelsdynastie zu einem der bedeutenden Herrscherhäuser des Reiches. 

Auf dem Reichstag von Augsburg belehnte Rudolf I. seine beiden Söhne mit den Herzogtümern Österreich und Steiermark, die kurz zuvor dem böhmischen König Ottokar II. entzogen worden waren. Die gemeinsame Belehnung erwies sich jedoch als politisch schwierig, da die landständischen Traditionen der Länder eine solche Doppelherrschaft nicht vorsahen. In einer späteren Regelung verzichtete Rudolf II. zugunsten seines Bruders auf die unmittelbare Herrschaft über diese Gebiete. Als Ausgleich war vorgesehen, dass er andere Territorien oder eine gleichwertige Stellung innerhalb der habsburgischen Herrschaft erhalten sollte. 

In den folgenden Jahren übernahm Rudolf Aufgaben im Umfeld der habsburgischen Territorialpolitik, insbesondere in den westlichen Besitzungen der Familie. Er nahm zudem an militärischen Unternehmungen seines Vaters teil, unter anderem im Zusammenhang mit den Konflikten im schweizerischen und burgundischen Raum. Diese Einsätze standen im Kontext der Versuche Rudolfs I., die neu gewonnenen Machtpositionen der Dynastie zu sichern und auszubauen. 

Seine politische Laufbahn blieb jedoch kurz. Während eines Aufenthalts am Hof seiner Schwester in Prag verstarb er überraschend. Mit seinem frühen Tod endete die Möglichkeit einer eigenständigen Herrschaftslinie, sodass die habsburgischen Länder endgültig unter der Führung seines Bruders Albrecht weitergeführt wurden. Sein postum geborener Sohn Johann von Schwaben erlangte später historische Bekanntheit, als er seinen Onkel König Albrecht I. tötete und dadurch in den Quellen den Beinamen „Parricida“ erhielt.