Mirsk kwatery założono w miejscu, gdzie trakt handlowy wiodący z Jeleniej Góry do Żytawy przekraczał rzekę Kwisę. Pierwsze wzmianki o osadzie pochodzą z XII w. a pierwszym znanym imiennie wójtem od 1201 r. był Bernard Rym, który posługiwał się herbem z wizerunkiem sowy. Stąd wywodzi się pierwsza nazwa Sowia Wieś (Eulendorf). Przed 1337 rokiem książę Henryk Jaworski nadał Mirskowi prawa miejskie przyznając też prawo na wyszynk piwa i nowy herb przedstawiający sokoła z upolowanym ptakiem w dziobie.
Odtąd też miasto nosiło nazwę Spokojna Góra (Friedeberg). W 1425 roku miasto stało się własnością rodu Schaffgotschów i w ich władaniu pozostawało do 1808 roku. W 1521 roku czeski król Władysław nadał Mirskowi przywilej organizacji dorocznego jarmarku w dniu Marii Magdaleny – 22 lipca (obecnie w tym terminie miasto organizuje współczesne swe święto pn. Izerska Gala).
Po wielokrotnych pożarach w drugiej połowie XVIII wieku całe miasto odbudowano zabudową murowaną, która zachowała się do dziś.