Nacido el 22 de enero de 1440 en Moscú, Iván era el hijo mayor de Basilio II. Se casó a los 12 años con la princesa María de Tver. Cuando Basilio murió en 1462, Iván, de 22 años, se convirtió en el gran duque de Moscú sin ser confirmado por el Khan mongol. Iván limitó su lealtad a la Horda de Oro al envío de regalos en lugar de tributos regulares, y finalmente dejó de hacerlo. Varios intentos mongoles de subyugar a los rusos fracasaron, el último en 1480.
El logro por el que Iván es más conocido es la consolidación del dominio moscovita. Sus predecesores habían aumentado el territorio de Moscú de menos de 600 millas cuadradas bajo Iván II a más de 15.000 millas cuadradas al final del reinado de Basilio II. A Iván III le quedaba absorber a los antiguos rivales de Moscú, Nóvgorod y Tver, y establecer prácticamente un único gobierno sobre lo que había sido la Rusia apanática. Aunque las circunstancias que rodearon las adquisiciones variaron, los resultados fueron básicamente los mismos: los antiguos principados soberanos o semiautónomos fueron reducidos al estatus de provincias de Moscú, mientras que sus príncipes se unieron a las filas de la nobleza de servicio.
Iván también se consideraba el heredero legítimo de todas las antiguas tierras de Kiev, que en su opinión constituían su patrimonio legítimo. Esto suponía un reto para Lituania, que, tras el colapso de Kiev, se había expandido hacia los territorios del oeste y suroeste de Rusia. Así, gran parte del reinado de Iván estuvo ocupado en la guerra contra Lituania. En 1503 se firmó un tratado de paz por el que Lituania reconocía el control ruso sobre partes de las zonas de Smolensk y Polotsk y gran parte de Chernigov-Seversk. Otro tratado de paz de 1503 puso fin a la guerra que Moscú había librado efectivamente contra la Orden de Livonia.
Tras la muerte de su primera esposa, Iván se casó con Sofía, o Zoë, Paleóloga, una princesa bizantina y sobrina del último emperador bizantino, Constantino XI. El matrimonio fue patrocinado por el Vaticano con la esperanza de poner a Rusia bajo el dominio del Papa y establecer un amplio frente contra los turcos, objetivo que fracasó. Desde el punto de vista de Iván, el matrimonio encajaba bien en la tendencia general de elevar al gobernante moscovita.
Después del matrimonio, Iván desarrolló un complicado ceremonial de corte según el modelo bizantino y comenzó a utilizar el título de zar y autócrata. También durante el reinado de Iván y de su hijo, Basilio III, Moscú llegó a ser denominada por sus portavoces como la Tercera Roma. Philotheos, un monje de Pskov, desarrolló la idea de que Moscú era la verdadera sucesora de Bizancio y, por tanto, de Roma.
Durante el reinado de Iván se llevó a cabo un impresionante programa de construcción en Moscú, dirigido principalmente por artistas y artesanos italianos. Se levantaron nuevos edificios en el Kremlin, y las murallas del Kremlin se reforzaron y se dotaron de torres y puertas. Iván murió el 27 de octubre de 1505 y le sucedió su hijo Basilio.