Miasto powstało jako podgrodzie zamku krzyżackiego w końcu XIV wieku, uzyskało prawa miejskie w 1445 r.
W latach 1543-1552 w Królewcu i w Ełku wydano więcej książek w języku polskim niż w całej Rzeczypospolitej. W 1587 roku założono w Ełku Szkołę Książęcą dla całej prowincji, gdzie uczono m.in. literackiej polszczyzny.
Według danych uzyskanych z Niemiec w 1890 r., Polacy stanowili 13% ludności miasta, a w powiecie 71% mieszkańców. Pod koniec 1896 r. w Ełku powstała Mazurska Partia Ludowa, a w grudniu 1923 r. – Związek Mazurów. W latach 1896–1902 wydawano również Gazetę Ludową, redagowaną w języku polskim i przeznaczoną dla ludności mazurskiej.
Miast zostało silnie zniszczone w czasie I wojny światowej, ale niedługo potem szybko rozkwitło. W okresie międzywojennym Ełk był siedzibą Konsulatu Polskiego. W czasie II wojny światowej Ełk był miejscem pracy przymusowej obywateli państw okupowanych. 24 stycznia 1945 opustoszałe miasto zdobyły wojska radzieckie (Siły niemieckie mające bronić Ełku, wycofały się na chwilę przed pojawieniem pierwszych oddziałów Armii Czerwonej). Po zajęciu Ełku Czerwonoarmiści dokonali grabieży oraz umyślnego niszczenia budynków. Zniszczeniu uległo blisko 50% zabudowy. 6 kwietnia 1945 zdewastowane miasto zostaje przekazane administracji polskiej. Po wojnie Ełk był wyludnionym miastem powiatowym. Zasiedlono go głównie mieszkańcami z okolicznych powiatów (np. szczuczyńskiego, augustowskiego), w mniejszym stopniu przesiedleńcami z Kresów (głównie Grodzieńszczyzny i Wileńszczyzny).
Miasto znalazło się pierwszy raz od czasów swojego istnienia w granicach państwa polskiego, aczkolwiek w wiekach poprzednich niejednokrotnie było zdobywane przez Polaków, w latach 1466-1657 było wasalne wobec Polski (stanowiło jej lenno), a w wiekach XIX i XX znajdował się w mieście silny ośrodek polskości.