Empezó a ser reconocido como guitarrista con la banda Quiet Riot. Con este grupo grabó dos álbumes que solo fueron editados en Japón ya que, en Estados Unidos no consiguieron ningún acuerdo con las discográficas.
En 1979 Randy se presentó a una audición para formar parte del proyecto en solitario de Ozzy Osbourne (ex-cantante de Black Sabbath). A los pocos minutos de que Randy empezara la audición Ozzy lo contrató sin dudarlo.
En 1981 ve la luz el primer álbum de la banda, Blizzard of Ozz, donde Randy despunta a la guitarra con gran virtuosismo y talento. Basta con decir que el solo del tema Crazy Train es simplemente genial y está considerado como uno de los mejores solos del rock por numerosas revistas (como por ejemplo Guitar World o Rolling Stones).
Ese mismo año graban otro disco y realizan una extensa gira. Precisamente durante dicha gira Randy le insinuó a Ozzy que estaba pensando en dejar la banda para dedicarse a terminar sus estudios sobre guitarra clásica.
Por desgracia nunca sabremos que rumbo hubiera tomado Randy en su carrera. En plena gira, en marzo de 1982 y a la temprana edad de 25 años, Randy perdió la vida en un accidente de avioneta junto al piloto y una maquilladora. Se cuenta que la avioneta intentó acercarse al microbús donde viajaba el resto de la banda para asustarles un poco. El piloto descendió por dos veces, pero a la tercera un ala de la avioneta rozó el microbús perdiendo la estabilidad y estrellándose cerca de una casa. En la autopsia del piloto se descubrió que había consumido cocaína.
A pesar de su corta carrera, con su muerte la música perdió a uno de los guitarristas más talentosos y con más futuro. Su estilo, basado en velocidad y sentimiento, ha influido y seguirá influyendo en multitud de guitarristas. Cinco años después de su muerte Ozzy editó un excelente álbum tributo del concierto de 1981 grabado en Cleveland.
La marca de guitarras Jackson hizo un modelo en honor a Randy, se llamó Jackson Randy Rhoads. El equipo que utilizaba Randy consistía principalmente en guitarras Gibson y Jackson con amplificadores Marshall.
DISCOS DE ESTUDIO
Con Quiet Riot:
Quiet Riot - 1977
Quiet Riot II – 1978
Con Ozzy Osbourne:
Blizzard of Ozz - 1981
Diary of a Madman – 1981