Pierwsza wzmianka źródłowa o formującym się u stóp Wzgórza miasteczku pochodzi z 1278. Badania archeologiczne nie potwierdziły istnienia tutaj wcześniejszego osadnictwa. Kiedy po kolejnym powstaniu Prusów w 1275 doszczętnie spalono katedrę w Braniewie, biskup warmiński Henryk Fleming postanowił przenieść kapitułę warmińską i wybudować tu katedrę. Nazwę miasta przyjęto od Najświętszej Marii Panny, patronki katedry. Osadnicy niemieccy nazywali je – Frauenburg, a kanonicy warmińscy w swoich dokumentach pisali Castrum Dominae Nostrae – Gród Naszej Pani.