В секцию спортивной гимнастики в четыре года Алексея привела мама. Однако из-за малого возраста его не приняли. Для спортивной гимнастики Немова открыла Ирина Шестакова, которая обнаружила талантливого мальчика в детском саду. По словам Алексея, первое время он не относился к занятиям всерьёз и даже несколько раз подумывал о том, что бы бросить гимнастику. Первой значительной победы Алексей добился в 1989 году на молодёжном первенстве СССР. Уже на следующий год Немов стал победителем в отдельных видах многоборья на Спартакиаде учащейся молодёжи СССР. В 1991—1993 годах он был многократным победителем в отдельных видах программы и в абсолютном первенстве.

В 1993 году Немов одержал победу на Кубке РСФСР, а также стал бронзовым призёром в многоборье на международном турнире «Звёзды мира 93». Ещё через год Алексей Немов стал чемпионом России, четырёхкратным чемпионом Игр доброй воли в Санкт-Петербурге и завоевал три золотых и одну серебряную медаль на чемпионате Европы в Италии. В 1995 году он завоевал первую золотую медаль чемпионате мира в Японии. В 1996 году Немов снова победил на чемпионате мира, а также на встрече «Звёзды мира 96» и на этапе Кубка Европы.

Олимпийские игры в Атланте (1996 год, США) стали триумфальными для Алексея Немова. Он не только стал двукратным олимпийским чемпионом,  но и завоевал одну серебряную и три бронзовые медали. В следующем году в Швейцарии Немов завоевал очередную золотую медаль чемпионата мира. В 2000 году последовали победы на чемпионатах мира и Европы, но самым успешным соревнованием в карьере Немова стала Олимпиада в Сиднее. Там он стал абсолютным чемпионом, завоевав две золотые, одну серебряную и три бронзовые награды.

В 1997 году Алексей Немов был удостоен ордена Мужества. В 2000 году в Лондоне он получил премию «World Sports Awards» как лучший спортсмен планеты. В 2001 году он был награждён орденом «За заслуги перед Отечеством » IV степени. Алексей Немов является «Почётным гражданином города Тольятти».

В 2004 году на Олимпиаде в Атланте Немов также выступил отлично, однако, судьи почему-то сочли, что Алексей не достоин высоких оценок. Такое решение вызвало бурю эмоций на трибунах. В течение нескольких минут зал возмущённым гулом выражал своё недовольство, не давая тем самым продолжать соревнования. Лишь когда многократный олимпийский чемпион вышел на помост, поблагодарил зрителей и попросил их успокоиться, зал разразился овациями, а затем смолк. За это в 2005 году Немову была вручена награда Международного олимпийского комитета «Фэйр Плей» – приз Пьера де Кубертена в номинации «За благородный жест».

В настоящее время Немов не собирается расставаться со спортом. Он является организатором спортивных турниров и показательных выступлений по спортивной гимнастике, в которых и сам принимает участие. У Алексея подрастает сын, который, возможно, в скором времени станет продолжателем традиций отца.