Geboren op 22 januari 1440 in Moskou, was Ivan de oudste zoon van Basilius II. Hij trouwde toen hij 12 jaar oud was met prinses Maria van Tver. Toen Basilius in 1462 stierf, werd de 22-jarige Ivan groothertog van Moskou, zonder dat hij bevestigd was door de Mongoolse Khan. Ivan beperkte zijn trouw aan de Gouden Horde tot het zenden van geschenken in plaats van regelmatige eerbetuigingen, en uiteindelijk stopte hij zelfs die. Verschillende pogingen van de Mongolen om de Russen te onderwerpen mislukten, de laatste in 1480.
De prestatie waarvoor Ivan het meest bekend is, is de consolidatie van de Moskovitische heerschappij. Zijn voorgangers hadden het grondgebied van Moskou vergroot van minder dan 600 vierkante mijl onder Ivan II tot meer dan 15.000 vierkante mijl aan het eind van het bewind van Basil II. Het was aan Ivan III om de oude rivalen van Moskou, Novgorod en Tver, in te lijven en vrijwel één heerschappij te vestigen over wat voorheen het appanage Rusland was geweest. Hoewel de omstandigheden waaronder de overnames plaatsvonden varieerden, waren de resultaten in grote lijnen hetzelfde: voormalige soevereine of semiautonome vorstendommen werden gereduceerd tot de status van provincies van Moskou, terwijl hun vorsten toetraden tot de rangen van de dienstadel.
Ivan beschouwde zichzelf ook als de rechtmatige erfgenaam van alle voormalige Kievan-landen, die naar zijn mening zijn wettige patrimonium vormden. Dit vormde een uitdaging voor Litouwen, dat zich na de ineenstorting van Kiev had uitgebreid naar de westelijke en zuidwestelijke Russische gebieden. Een groot deel van Ivans bewind werd dan ook in beslag genomen door de oorlog tegen Litouwen. In 1503 werd een vredesverdrag ondertekend waarbij Litouwen de Russische controle over delen van de gebieden Smolensk en Polotsk en over een groot deel van Tsjernigov-Seversk erkende. Een ander vredesverdrag van 1503 maakte een einde aan de oorlog die Moskou in feite had gevoerd tegen de Livonische Orde.
Na de dood van zijn eerste vrouw trouwde Ivan met Sofja, of Zoë, Paleologue, een Byzantijnse prinses en nicht van de laatste Byzantijnse keizer, Constantijn XI. Het huwelijk werd gesponsord door het Vaticaan in de hoop Rusland onder de heerschappij van de Paus te brengen en een breed front te vormen tegen de Turken, een doel dat mislukte. Vanuit Ivans gezichtspunt paste het huwelijk goed in de algemene trend om de Moskovische heerser te verheffen.
Na het huwelijk ontwikkelde Ivan een ingewikkeld hofceremonieel naar Byzantijns model en begon hij de titel van tsaar en alleenheerser te gebruiken. Ook tijdens het bewind van Ivan en zijn zoon, Basilius III, werd Moskou door woordvoerders aangeduid als het Derde Rome. Philotheos, een monnik uit Pskov, ontwikkelde het idee dat Moskou de ware opvolger was van Byzantium en dus van Rome.
Onder Ivan vond in Moskou een indrukwekkend bouwprogramma plaats, voornamelijk geleid door Italiaanse kunstenaars en ambachtslieden. Er werden nieuwe gebouwen opgetrokken in het Kremlin, en de muren van het Kremlin werden versterkt en voorzien van torens en poorten. Ivan stierf op 27 oktober 1505 en werd opgevolgd door zijn zoon, Basilius.