Родился 31 января 1953 года в Ленинграде, где и окончил среднюю школу. В 1970 году проступил в Ленинградский государственный университет на филологический факультет, переводческое отделение. Сразу после окончания университета Сергей Иванов получил предложение о работе от представителей КГБ. Дав свое согласие Сергей Борисович окончил высшие курсы КГБ в городе Минск и Краснознаменный институт КГБ имени Андропова (старое название – «Школа Первого Главного управления КГБ»).

После окончания школы КГБ Иванов работает в Первом Главном управлении КГБ СССР в отделе внешней разведки. Как раз в этот период произошла реорганизация службы КГБ которая превратилась в ФСБ (Федеральная служба безопасности). В ФСБ Иванов был сначала простым оперуполномоченным, а через несколько лет занимал пост начальника отдела (управления) ФСБ. В 1981 году Сергея Иванова командировали в Англию, где он работал вторым секретарем в русском посольстве. В 1983 году правительство Англии обвинило несколько русских послов (в том числе и Иванова) в шпионаже и выслало их из страны. 

После инцидента с Англией Иванов был командирован в Финляндию а затем в Кению. По возвращению в Россию Сергей Борисович год проработал заместителем директора ФСБ, а в 1999 году получил должность секретаря Совета Безопасности Российской Федерации. В марте 2001 года Владимир Путин подписал указ о назначении Сергея Иванова Министром обороны России. В этом же году Иванова избрали председателем Совета министров обороны стран СНГ. После президентских выборов 2004 года он по-прежнему остается на своем посту.

В 2005 году Владимир Путин назначает Сергея Борисовича вице-премьером Государственной думы. В феврале 2007 года согласно указу президента Сергей Иванов назначен первым заместителем Председателя Правительства.