В 1939 году Андрей поступил в московскую школу № 554 (ныне — школа № 1060). В начале войны мать увезла его с сестрой к родственникам в Юрьевец. И хотя свою жизнь Тарковский прожил в основном в Москве, образом отчего дома остался для него дом его детства в Юрьевце, где сейчас находится Музейный центр Тарковского. Таким он предстал в фильме «Зеркало», где были отражены многие впечатления детства — уход отца, мать с двумя детьми на руках, эвакуация, школа, трудности быта.
В 1943 году Тарковские вернулись в Москву. Андрей продолжил учёбу в своей старой школе, где он учился в одном классе с Андреем Вознесенским. С семи лет он посещал районную музыкальную школу (по классу фортепиано), а в седьмом классе поступил в Московское художественное училище памяти 1905 года, где занимался рисованием.
В 1951—1952 годах Тарковский учился на арабском отделении Московского института востоковедения, однако оставил учёбу, получив сотрясение мозга на занятиях по физкультуре.
В мае 1953 года Тарковский устроился коллектором в научно-исследовательскую экспедицию института Нигризолото в далёкий Туруханский район Красноярского края, где проработал почти год на реке Курейке, пройдя пешком по тайге сотни километров. Свой альбом зарисовок он сдал потом в архив Нигризолота.
По возвращении из экспедиции в 1954 году Тарковский подал документы во ВГИК и был принят на режиссёрское отделение в мастерскую Михаила Ромма. На третьем курсе Тарковский познакомился с Андроном Кончаловским, в то время первокурсником режиссёрского отделения. В соавторстве друзья написали сценарий «Антарктида, далёкая страна» (1959), отрывки из которого были опубликованы в газете «Московский комсомолец». Тарковский предложил сценарий киностудии «Ленфильм», но получил отказ. Свой следующий совместный сценарий «Каток и скрипка» (1960) они успешно продали только что созданному на «Мосфильме» объединению «Юность».
В 1961 году Тарковский подал заявку на фильм «Андрей Рублёв», который требовал большой подготовительной работы. Съёмки начались в 1964 году и продолжались больше годаВ 1969 году французская фирма, получившая права на зарубежный прокат «Андрея Рублёва», показала его вне конкурса на Каннском кинофестивале, где он был удостоен приза ФИПРЕССИ. 19 октября 1971 года фильм был наконец выпущен в отечественный прокат ограниченным числом кинокопий и с тех пор практически не сходил с экрана.
В 1970 году после почти пятилетнего перерыва Тарковский приступил к съёмкам фильма «Солярис»В 1972 году «Солярис» был показан на Каннском кинофестивале и, кроме Специального приза жюри, получил также Приз экуменического жюри. В 1973 году фильм вышел в советский прокат.
В 1974 году режиссёр снял свой самый исповедальный фильм «Зеркало». Фильм «Зеркало» вышел в ограниченный прокат и обострил скрытое противостояние режиссёра и власти. Готовясь к новому проекту, Тарковский писал сценарии, читал на Высших курсах сценаристов и режиссёров лекции по режиссуре (1977—1978), поставил в Театре Ленинского комсомола спектакль «Гамлет» (1977). Снятый в 1979 году по повести братьев Стругацких «Пикник на обочине» фильм «Сталкер» выглядел своего рода компромиссом: угрожающе-таинственная и одновременно сулящая исполнение любых желаний Зона воспринималась и как намёк на кризис технократической (то есть «капиталистической») цивилизации, в том же ключе можно было истолковать и смысл диалогов писателя (Анатолий Солоницын) и профессора (Николай Гринько). В 1980 году «Сталкер» был показан на Каннском кинофестивале и получил Приз экуменического жюри. В советский прокат фильм вышел в количестве 196 копий.
В 1974 году режиссёр снял свой самый исповедальный фильм «Зеркало». Фильм «Зеркало» вышел в ограниченный прокат и обострил скрытое противостояние режиссёра и власти. Готовясь к новому проекту, Тарковский писал сценарии, читал на Высших курсах сценаристов и режиссёров лекции по режиссуре (1977—1978), поставил в Театре Ленинского комсомола спектакль «Гамлет» (1977). Снятый в 1979 году по повести братьев Стругацких «Пикник на обочине» фильм «Сталкер» выглядел своего рода компромиссом: угрожающе-таинственная и одновременно сулящая исполнение любых желаний Зона воспринималась и как намёк на кризис технократической (то есть «капиталистической») цивилизации, в том же ключе можно было истолковать и смысл диалогов писателя (Анатолий Солоницын) и профессора (Николай Гринько). В 1980 году «Сталкер» был показан на Каннском кинофестивале и получил Приз экуменического жюри. В советский прокат фильм вышел в количестве 196 копий.
В 1980 году Тарковскому было присвоено звание Народного артиста РСФСР. В том же году режиссёр поехал в Италию для работы над сценарием фильма «Ностальгия»; контракт с итальянцами на съёмки был подписан в марте 1982 года. Сразу после этого Тарковский уехал в Италию. 4 апреля 1982 года ему исполнилось 50 лет, однако на родине не было опубликовано юбилейных текстов, не было организовано формальных торжеств в Доме кино. В ходе поиска натуры режиссёр снял документальный фильм «Время путешествия» (1982). В 1983 году фильм «Ностальгия» был показан в конкурсе Каннского кинофестиваля и получил Приз за режиссуру, Приз ФИПРЕССИ и Приз экуменического жюри.
После окончания срока командировки Тарковский с женой Ларисой продолжал оставаться в Италии и отправил из Рима письмо на имя председателя Госкино СССР Филиппа Ермаша с просьбой предоставить ему, его жене, тёще и 12-летнему сыну Андрею возможность в течение трёх лет жить в Италии, после чего он обязывался вернуться в СССР. 29 июня 1983 года Ермаш направил в ЦК КПСС секретную докладную записку.
10 июля 1984 года на пресс-конференции в Милане режиссёр объявил о своём решении остаться на Западе. Снятый в Швеции фильм «Жертвоприношение» (1985) стал последней работой режиссёра. 13 декабря 1985 года врачи диагностировали у него рак лёгких.
Когда известие о болезни Тарковского достигло СССР, власти наконец разрешили его сыну Андрею вылететь к отцу. В это же время был снят запрет с имени Тарковского — его фильмы снова допустили к демонстрации в кинотеатрах. Тарковский умер в Париже 29 декабря 1986 года на 55-м году жизни.