Avant cette fonction, M. Tremblay a été sous-ministre des Ressources naturelles de 2020 à 2022, sous-ministre des Services aux Autochtones de 2017 à 2020, sous-ministre de l’Infrastructure et des Collectivités de 2016 à 2017 et sous-ministre des Transports, de l’Infrastructure et des Collectivités (TIC) de 2015 à 2016. 

Avant de se joindre au portefeuille des TIC, M. Tremblay était sous-secrétaire du Cabinet (Opérations) au sein du Bureau du Conseil privé depuis avril 2013. M. Tremblay a servi au ministère des Affaires autochtones et du Développement du Nord Canada où il a occupé le poste de sous-ministre adjoint principal, Traités et gouvernement autochtone (2012 à 2013) et de sous-ministre adjoint principal, Politiques et orientation stratégique (2010 à 2012). Il a travaillé pour le Bureau du Conseil privé à titre de secrétaire adjoint du Cabinet Priorités et planification (2007 à 2010) ainsi que de de sous-ministre adjoint, Opérations gouvernementales (2006 et 2007). M. Tremblay s’est joint à la fonction publique fédérale en 2000 en tant qu’analyste des politiques pour le Bureau du Conseil privé. Il possède un doctorat en science politique de l’Université Laval.