Gandalf le Sage était un des cinq membres du Heren Istarion qui furent envoyés en Terre du Milieu pour aider et conseiller les Peuples libres dans leur lutte face à Sauron. Incarné, il prit dès le début l'apparence d'un vieillard barbu, bien qu'il continua à vieillir, certes lentement, par la suite. Il était habillé d'un grand chapeau pointu bleu, d'une longue cape grise et d'une écharpe argentée. Son statut d'Istar le soumettait aux mêmes déconvenues que tout autre être mortel et ses pouvoirs étaient diminués.

Le Maia Olórin, comme il était appelé en Aman, était un conseiller d'Irmo dont les claires visions pénétraient les ruses des ténèbres, ce qui fit de lui un secret ennemi de Melkor. Sa force lui venait de sa capacité à relever la tête de ceux qui s'étaient laissés prendre dans les rais du désespoir et à donner l'envie de se tourner vers l'avenir même dans les moments les plus noirs. C'est dans ces seules activités qu'il trouvait son plaisir, ainsi il ne fabriquait quoi que ce soit de ses propres mains ni ne désirait rien posséder. Quand les Valar tinrent un conseil et qu'il fut décidé d'envoyer des messagers en Terre du Milieu pour soutenir les Peuples libres dans leur résistance face à Sauron, il s'estima trop faible pour vaincre le Seigneur des Anneaux, mais Varda et Manwë estimèrent que c'était justement de cette prudence et de cette humilité que découlait sa force. Il fit donc partie du voyage vers Endor, y arrivant le dernier de son ordre, après Saroumane, Pallando et Alatar, peut-être en même temps que Radagast, aux environs de l'an 1000 du Troisième Âge. Il aurait peut-être été accompagné de Glorfindel, avec qui il s'était lié d'amitié en Aman, bien que d'autres sources font état d'une venue bien antérieure de Glorfindel, au Deuxième Âge. Leur arrivée fut découverte par Círdan qui devina immédiatement une grande sagacité et une force d'âme en Gandalf, et estima profitable de lui donner Narya, l'anneau elfique dont il avait hérité. Bien que sa possession fut gardée secrète, Saroumane le Blanc, habile à percer à jour les secrets des autres, s'en avisa et ceci devint un élément de rancune envers le Gris. Il est dit, selon certaines versions du légendarium, que Gandalf aurait ramené de Valinor l'Elessar, porté auparavant par Eärendil, et qu'il l'aurait offert de la part de Yavanna à Galadriel pour embellir la Lothlórien.

Il voyagea alors grandement en Terre du Milieu, excepté dans l'est. Il reçut alors différents noms : Mithrandir chez les Elfes, Tharkûn chez les Nains, Incánus au sud, Gandalf au nord. Gandalf le Gris était très proche des Elfes, notamment d'Elrond, partageant souvent les mêmes convictions comme ce fut le cas en 2060 du Troisième Âge quand tous deux vinrent à craindre que l'ombre de Dol Guldur était celle de Sauron, et non celle d'un des Nazgûl comme la rumeur circulait alors parmi les Quendi. Ce fut pour cette raison qu'en l'an 2063, Gandalf s'introduisit en cachette dans Dol Guldur pour faire la lumière sur l'identité de son occupant appelé le Nécromancien. Mais Sauron en fut averti et quitta la tour pour l'est avant que Mithrandir ne le perce à jour car ses pouvoirs étaient encore trop faibles pour risquer une confrontation ouverte. Commença alors la Paix Vigilante, un répit durant lequel Gandalf voyagea beaucoup pour confondre ses ennemis, qui prit fin en 2460 du Troisième Âge. En 2463 fut formé le Conseil Blanc pour contrer les manigances du pouvoir ténébreux qui sévissait à nouveau ; Saroumane, qui avait grandement étudié les stratagèmes de Sauron, en prit la tête malgré la volonté de Galadriel de faire du Gris le chef du Conseil des Sages.
Il est à noter que durant le Rude Hiver il vint en aide aux Hobbits dans lesquels il décela une grande force et une grande bonté d'âme : il se lia d'ailleurs d'amitié avec nombre d'entre eux dont Bilbo, Frodo ou le Vieux Touque.
Cependant Gandalf vint à se rendre une nouvelle fois à Dol Guldur durant l'année 2850 afin de connaître les intentions du Nécromancien. Il trouva, sans le reconnaître, Thráin II agonisant dans une geôle de la forteresse qui lui donna la clef secrète d'Erebor avant de décéder, à laquelle Gandalf devait ne plus prêter attention avant fort longtemps. Après s'être assuré que Sauron était effectivement l'occupant des lieux, qu'il réunissait à nouveau les anneaux, et qu'il cherchait à localiser l'Anneau Unique ainsi que la demeure des Héritiers d'Isildur, il en informa le Conseil Blanc. Il pressa celui-ci de se lever contre Dol Guldur mais il fut contré par Saroumane qui commençait à désirer le pouvoir et l'Anneau Unique pour ses propres desseins.

Gandalf s'engagea ensuite dans la Quête d'Erebor qui prit sa source dans la rencontre fortuite qu'il fit de Thorin II sur la route de Bree à la mi-mars 2941 ; ils poursuivirent leur route jusqu'aux Montagnes Bleues où demeurait Thorin II pour parler du projet de reprise d'Erebor à Smaug ; ce fut alors que Gandalf comprit qu'il avait assisté à la mort de Thráin II à Dol Guldur et qu'il décida de monter la Quête d'Erebor qui eut lieu dans l'année, année durant laquelle Gandalf participa aussi avec le Conseil Blanc à l'expulsion de Sauron de Dol Guldur autorisée par Saroumane, celui-ci craignant que Sauron ne s'empare de l'Anneau Unique avant lui.
La Quête d'Erebor dans laquelle il avait engagé Bilbo dut affronter des Trolls, des Orques, la défiance des Elfes et Smaug le Doré mais s'acheva par un grand succès pour les Peuples libres : Erebor fut rétablie, Smaug tué, les armées des Gobelins et des Wargs diminuées et la prospérité retrouvée dans toute la zone. Gandalf raccompagna Bilbo en Comté début 2942, après être repassé par chez Beorn et à Imladris.

En 2956 il rencontra Aragorn et se lia d'amitié avec lui, marquant le début de leur association dans la lutte contre le Seigneur Ténébreux. Dans les années qui suivirent, Saroumane commença à le faire espionner, ainsi que la Comté, redoutant que celui-ci ait fait une découverte primordiale dans cette petite région à laquelle il n'avait lui-même porté que très peu d'attention jusqu'à lors.
Dès 3001, lors de la fête d'anniversaire de Bilbo, Mithrandir commença à soupçonner l'anneau de Bilbo d'être plus que ce que le Hobbit ne le laissait entendre. L'année suivante, il commença ses recherches sur l'histoire de ce guerdon, notamment à w où il trouva un parchemin d'w décrivant l'Anneau Unique ; et avec l'aide d'Aragorn, il tenta de retrouver la piste de Gollum. Il découvrit, en interrogeant Bilbo, son mensonge quant aux circonstances de l'acquisition de l'Anneau Unique.
Visitant à de réguliers intervalles la Comté, entre autres pour se procurer l'Herbe à pipe qu'il affectionnait tant, il prêtait surtout attention à Frodo ; sa dernière visite eut lieu dans l'année 3009, tandis que la traque de Gollum par Aragorn conduisit ce dernier aux confins du Mordor.
Ce fut en 3018 que les évènements s'accélèrent, Gandalf se rendit dans la Forêt Noire où Aragorn et les Elfes de Thranduil détenaient Gollum afin de l'interroger. Ayant récupéré toutes les informations qu'il pouvait tirer de la créature, il prit un cheval pour Imladris, puis avec une monture fraîche se rendit en Comté le 12 avril 3018 du Troisième Âge.

Il révéla alors à Frodo la nature véritable de l'anneau qu'il détenait. Averti au Mitan de l'année par Radagast des mouvements des Spectres de l'Anneau, il décida de pendre conseil auprès de Curumo. Mais Gandalf fut leurré et fut fait prisonnier par Saroumane au sommet d'Orthanc alors qu'il était donc au courant de la venue prochaine des Nazgûl dans le nord pour reprendre l'Anneau Unique à Frodo, qui heureusement était parti en direction de Fondcombe sans attendre l'Istar.
Il s'échappa de l'Isengard à l'automne, le 18 septembre 3018, grâce à l'intervention de Gwaihir mais aussi à Saroumane, qui aurait (les différentes versions de l'histoire divergent) temporisé à la porte d'Orthanc alors que les Nazgûl lui réclamaient Gandalf dans un accès de repentir, mais sa volonté de se faire pardonner fut anéantie quand il s'aperçut que Mithrandir en avait profité pour se faire la belle hors de sa forteresse qu'il estimait inexpugnable. Sa rancœur envers Gandalf et sa vanité reprirent alors immédiatement le dessus et il redirigea les Spectres de l'Anneau vers la Comté afin de faire échouer la tentative jugée désespérée de Gandalf.
Ce dernier, déposé près des Montagnes Blanches à l'ouest d'Edoras, marcha jusqu'à la ville qu'il n'atteignit que le lendemain où il fut traité comme un mendiant, mais finalement reçu le lendemain, les gardes à la porte interloqués par sa persévérance et sa colère. Il parla alors avec le roi Théoden qui hésita quant à l'attitude à suivre, Gandalf étant soutenu par Théodred et Gríma étant absent. Mais le lendemain Gríma était de retour et reprit possession des décisions du roi. Gandalf ne parvint à convaincre Gripoil de le porter que le 23 septembre, date où il commença sa chevauchée vers Fondcombe, traversant l'Isen le 24 septembre au matin, Tharbard le 27 à 1h00, le Gué de Sarn le 28 à 2h00, Hobbitebourg le 28 (où il constata le départ de Frodo) et atteignant Bree le 30 septembre. Mais il fut attaqué par le Roi Sorcier et plusieurs autres Úlairi à Amon Sûl la nuit du 3 au 4 octobre ; il ne parvint à les repousser qu'au lever du soleil, fuyant vers le nord le long du Mitheithel.
Ayant échappé à ses quatre poursuivants (Khamûl et le Roi Sorcier étant restés au Mont Venteux et découvrant ainsi l'approche de Frodo), il participa par la suite au Conseil d'Elrond le 25 octobre et intégra avec huit compagnons la Communauté de l'Anneau malgré sa réticence à la participation de Merry et Pippin qui furent imposés par Elrond. Prenant le chemin du sud, il chercha d'abord à faire traverser la troupe par la Passe du Rubircorne, mais dut faire demi-tour, arrêté par une forte tempête ; il se résolut alors à passer par la Moria, malgré la connaissance de la présence du Fléau de Durin, aucune autre issue n'étant envisageable. Attaqué par les Orques et poursuivi par le Balrog, le 15 janvier Gandalf combattit le Fléau de Durin sur le Pont de Khazad-dûm et tomba dans l'abysse sous-jacent. Le combat entre les deux Maiar dura plusieurs jours et plusieurs nuits dans les profondeurs de la terre, mais le 23 janvier Gandalf l'accula au somment du Zirak-zigil, dans la Tour de Durin, où la lutte fit rage pendant trois jours au terme desquels le Balrog fut abattu : on garda dans les annales le nom de Bataille de la Cime. Mais Gandalf lui-même, épuisé, entra dans une longue transe.
Mort, il fut renvoyé à la vie par Eru en personne, mais doté d'une puissance nouvelle : il devint alors Gandalf le Blanc. Le 17 février il fut repéré et transporté à nouveau par Gwaihir qui le déposa en Lothlórien où il put panser les plaies du corps et prendre du repos. Il repartit le 20, toujours emmené par Gwaihir, et atteignit la Forêt de Fangorn le 25. Le lendemain il mena un combat contre l'œil de Sauron par la pensée pour l'empêcher de localiser Frodo qui utilisait alors l'Anneau Unique tandis que la Communauté de l'Anneau était attaquée par des Uruks et que Boromir était tué au combat.

Le 30 février, il rattrapa Aragorn, Legolas et Gimli avec qui il galopa pendant plus de douze heures pendant la journée du 1er pour ainsi atteindre Meduseld le 2 mars au lever du soleil, vers 8h30. Ils rencontrèrent le roi Théoden vers 10h30 qui fut libéré de l'emprise de Gríma et qui pardonna Éomer. Il fut décidé alors de réunir les forces du Rohan pour organiser la lutte contre les forces de Saroumane. Le lendemain Gandalf se rendit aux Gués de l'Isen où il donna des instructions à Grimbold et Elfhelm puis poursuivit sa route vers la Forêt de Fangorn pour s'assurer du soutien des Ents et des Huorns. Le 4 mars, à la tête des forces d'Erkenbrand il atteignit le Gouffre de Helm et dispersa l'ennemi ; puis Gandalf et compagnie s'en retournèrent en Isengard pour parlementer avec Saroumane assiégé par les Ents, mais celui-ci, après une dernière hésitation, ne parvint pas à se défaire de sa corruption : Gandalf le chassa alors de son ordre et brisa son bâton.
Durant la nuit, alors qu'ils étaient à Dol Baran, Pippin regarda dans le Palantír qui avait été récupéré à Orthanc et induisit donc Sauron en erreur sur l'identité du Hobbit porteur de l'Anneau Unique. Mithrandir prit alors avec lui Pippin sur Gripoil et partirent en direction de Minas Tirith le 5 mars peu avant minuit, pressé par un doute qui l'assaillait concernant la connaissance aiguë des évènements qu'avait Denethor II : il soupçonnait l'usage par l'Intendant du Gondor de la Pierre d'Anor. Ils atteignirent Edoras le 6 où ils restèrent pour la journée, avant de reprendre leur chevauchée, entrant en Anórien le 8 mars à 2h00 du matin. Dépassant le Rammas Echor entre 6h15 et 6h20 du 9 mars, ils entrèrent dans Minas Tirith et furent reçus très peu après par Denethor II.

Bien qu'ami d'Ecthelion II, Denethor II, accablé par sa charge, l'utilisation du Palantír et la conviction que Gandalf cherchait à le déposer, reçut Gandalf avec beaucoup de méfiance et peu de déférence. Les 10 et 12 mars ce dernier intervint pour protéger Faramir des Nazgûl et lors de la retraire de ses forces hors d'Osgiliath. Mais le 13 mars Faramir étant blessé et son père n'étant plus alors en mesure de diriger la cité, le Cavalier Blanc en prit le commandement.
Tôt le 15 mars, averti par Pippin, alors qu'il venait d'affronter le Roi Sorcier aux portes de Minas Tirith, il cavala à travers six cercles de la Cité Blanche pour sauver Faramir de la folie de son père qui lui fut tué sur le bûcher qu'il avait monté, submergé par le désespoir ; Gandalf emmena ensuite Faramir aux Maisons de Guérison.
Les Capitaines de l'Ouest, ayant acquis la victoire lors de la Bataille des Champs du Pelennor, se dirigèrent alors vers Morannon pour distraire l'attention de Sauron de Sam et Frodo. Devant la Porte Noire, la Bouche de Sauron apporta des preuves accablantes de la capture de Frodo, mais Mithrandir ne fut pas dupe : possédant Narya, il aurait su si Sauron avait récupéré l'Anneau Unique, ce qui n'était pas le cas.
La Chute de Sauron passée et Aragorn II Elessar couronné, il se rendit aux Havres Gris sur Gripoil pour repartir vers Aman le 29 septembre 3021, ayant acquis aussi l'autorisation de faire passer Frodo et Bilbo et après avoir rendu visite à Tom Bombadil.