Urodzony 22 stycznia 1440 r. w Moskwie, Iwan był najstarszym synem Bazylego II. W wieku 12 lat ożenił się z księżniczką twerską Marią. Gdy Bazyli zmarł w 1462 r., 22-letni Iwan został wielkim księciem moskiewskim bez potwierdzenia ze strony chana mongolskiego. Iwan ograniczył swoją lojalność wobec Złotej Ordy do wysyłania prezentów zamiast regularnych danin, a w końcu zaprzestał nawet tych. Kilka mongolskich prób podporządkowania sobie Rosjan zakończyło się niepowodzeniem, ostatnia w 1480 r.
Dokonanie, z którego Iwan jest najbardziej znany, to konsolidacja władzy Moskali. Jego poprzednicy powiększyli terytorium Moskwy z mniej niż 600 mil kwadratowych za panowania Iwana II do ponad 15 000 mil kwadratowych pod koniec panowania Bazylego II. Iwanowi III pozostało wchłonąć dawnych rywali Moskwy, Nowogród i Twer, i ustanowić praktycznie jednolite rządy nad tym, co wcześniej było przyłączoną Rosją. Choć okoliczności przejęcia tych ziem były różne, rezultat był w zasadzie taki sam: dawne suwerenne lub półautonomiczne księstwa zostały zredukowane do statusu prowincji moskiewskich, a ich książęta zasilili szeregi szlachty służebnej.
Iwan uważał się również za prawowitego dziedzica wszystkich dawnych ziem kijowskich, które jego zdaniem stanowiły jego prawowite dziedzictwo. Stanowiło to wyzwanie dla Litwy, która po upadku Kijowa rozszerzyła swoją działalność na zachodnie i południowo-zachodnie terytoria Rosji. Znaczną część panowania Iwana zajęła więc wojna z Litwą. W 1503 r. podpisano traktat pokojowy, na mocy którego Litwa uznała rosyjską kontrolę nad częścią Smoleńska i Połocka oraz większą częścią Czernihowa i Siewierszczyzny. Kolejny traktat pokojowy z 1503 roku kończył wojnę, którą Moskwa skutecznie prowadziła z Zakonem Liwońskim.
Po śmierci pierwszej żony Iwan poślubił Zofię, czyli Zoę, Paleolog, księżniczkę bizantyjską, siostrzenicę ostatniego cesarza bizantyjskiego Konstantyna XI. Małżeństwo to było sponsorowane przez Watykan w nadziei na podporządkowanie Rosji papieżowi i utworzenie szerokiego frontu przeciwko Turkom, co jednak nie udało się. Z punktu widzenia Iwana małżeństwo to wpisywało się w ogólny trend wywyższania władcy moskiewskiego.
Po ślubie Iwan rozwinął skomplikowany ceremoniał dworski na wzór bizantyjski i zaczął używać tytułu cara i autokraty. Również za panowania Iwana i jego syna Bazylego III Moskwa zaczęła być nazywana przez rzeczników Trzecim Rzymem. Filoteusz, mnich z Pskowa, rozwinął ideę, że Moskwa jest prawdziwą następczynią Bizancjum, a więc i Rzymu.
Za panowania Iwana w Moskwie miał miejsce imponujący program budowlany, prowadzony głównie przez włoskich artystów i rzemieślników. Na Kremlu wzniesiono nowe budynki, a mury Kremla wzmocniono i wyposażono w wieże i bramy. Iwan zmarł 27 października 1505 roku, a jego następcą został syn Bazyli.