Durch seinen Studienkollegen Tim Staffell lernte Mercury – der sich damals noch „Freddie Bulsara“ nannte – die Band Smile kennen. Dieses Trio wurde 1968 gegründet. Die weiteren Mitglieder neben Staffell (Gesang und Bass) waren Brian May (Gitarre) und Roger Taylor (Schlagzeug). Mercury begleitete die Band bei ihren Konzerten und brachte auch Ideen ein, wie die Gruppe ihr Erscheinungsbild und ihre Bühnenauftritte gestalten sollte. Gemeinsam betrieben Mercury und Taylor einen Verkaufsstand im Londoner Kensington Market.

Im Laufe des Jahres 1969 schloss sich Mercury als Sänger der aus Liverpool stammenden Band Ibex an, welche ab Oktober desselben Jahres unter dem neuen Namen Wreckage auftrat. Bei den Konzerten dieser Bands war unter anderen das Stück Jailhouse Rock zu hören, das später auch oftmals von Queen gespielt werden sollte. Nach Beendigung seines Engagements bei Wreckage wurde Mercury in weiterer Folge Sänger der Band Sour Milk Sea, mit der er Anfang 1970 einige Auftritte hatte.

In dieser Zeit löste sich Smile auf, da Tim Staffell die Gruppe verließ. Daraufhin gründeten im April 1970 Brian May und Roger Taylor zusammen mit Freddie Mercury eine gemeinsame Band, der Mercury den Namen „Queen“ gab und deren Logo er entwickelte. 1971 kam als letztes Mitglied der Bassist John Deacon hinzu.