Les Silmarils furent créés par Fëanor en Valinor, durant l'Âge des Arbres. Bien que l'on ne sache pas de quelle matière ils étaient faits, ils avaient l'apparence de trois cristaux de diamant et étaient incassables, et renfermaient la lumière bénie des Deux Arbres. Ils brillaient autant que les étoiles de Varda et restituaient la lumière qu'ils captaient en des teintes encore plus merveilleuses. Ils furent bénis par Varda de telle sorte que quiconque doté de mauvaises intentions et portait la main sur eux ressentît de vives brûlures. Mandos prédit également qu'en eux reposait le sort d'Arda. Fëanor, qui en était très fier, finit par les garder jalousement du regard des autres.

Après avoir blessé et empoisonné les Deux Arbres avec l'aide d'Ungoliant, Morgoth s'en alla attaquer Formenos. En l'absence de Fëanor, il tua Finwë et s'empara des Silmarils. Après avoir rejoint la Terre du Milieu par l'Helcaraxë, Morgoth se vit violemment réclamer les Silmarils par Ungoliant, mais des Balrogs vinrent à sa rescousse. Il rejoignit alors Angband, où il enchassa les trois Silmarils dans sa couronne de fer.

Entretemps, en Valinor, Fëanor réalisa la mort de son père et le vol des Silmarils. Alors, se rebellant contre les Valar, il décida de partir pour la Terre du Milieu avec les siens et les Noldor qui le suivraient, afin de combattre Morgoth, de venger son père et de récupérer les Silmarils. C'est à ce moment que fut prêté le terrible Serment de Fëanor de retrouver les Silmarils coûte que coûte. S'ensuivirent la Malédiction de Mandos, le Massacre d'Alqualondë, de nombreuses guerres vaines contre Morgoth et d'innombrables souffrances.

Durant le Premier Âge, un premier Silmaril fut repris par Beren et Lúthien, condition mise par Thingol à leur union. Mais cela ne se fit pas sans mal : alors qu'ils s'enfuyaient, Carcharoth, le loups gardien d'Angband, arracha la main de Beren qui contenait le Silmaril, l'avalant et ravageant tout sur son passage. Ils retournèrent donc à Doriath, mais Beren, avec l'aide de Huan, traqua et tua bientôt le loup. Il récupéra le joyau pour le donner à Thingol, puis mourir pour la première fois. Thingol, captivé par la beauté du joyau, demanda aux Nains de Nogrod de le sertir dans le Nauglamír, ce qu'ils firent. Mais une querelle s'ensuivit, Thingol fut tué et les Nains massacrés. Nogrod envoya alors une armée pour venger les siens, provoquant la ruine de Doriath. Le Silmaril et le Nauglamír furent alors ramenés vers la cité naine. Mais l'armée de Nogrod fut attaquée en chemin par Beren, Dior, les Elfes sylvains et les Ents aux gués de Sarn Athrad. Le Silmaril et le Nauglamír récupérés allèrent alors à Lúthien, puis, à la mort de celle-ci, à Dior, le restaurateur de Doriath. Les fils de Fëanor voulurent alors récupérer le joyau et lancèrent une armée sur Doriath, qu'ils ravagèrent. Dior fut tué, mais le Silmaril leur échappa : Elwing, la fille de Dior, s'était réfugiée aux Bouches du Sirion et l'avait emporté avec elle. Les Fëanoriens survivants lancèrent ensuite une attaque sur les Bouches du Sirion, massacrant les réfugiés qui s'y étaient installés. Elwing se jeta alors à la mer avec le Silmaril. Transformée en oiseau marin par Ulmo, elle rejoignit son mari, Eärendil, qui était en mer. Ensemble, ils partirent alors à la recherche d'Aman, qu'ils trouvèrent grâce au joyau. Les Valar décidèrent alors de placer Eärendil, le Silmaril au front, et son navire, Vingilot, dans les cieux, faisant ainsi apparaître une nouvelle étoile.

Les deux autres Silmarils furent récupérés au terme de la Guerre de la Grande Colère, en 583 du Premier Âge, lorsque les armées des Valar, menées par Eönwë, défirent Morgoth. Cependant, Maedhros et Maglor, les deux fils survivants de Fëanor, guidés par leur Serment, exigèrent d'Eönwë qu'il leur restitue les deux Silmarils. Eönwë leur ayant dénué tout droit sur ces joyaux, ils volèrent les Silmarils. Les deux frères se répartirent alors les Silmarils, mais, brûlés par la douleur qu'ils leur infligeaient, ils durent s'en débarasser : Maedhros se jeta avec le sien dans un gouffre de feu, et Maglor lança le sien dans la mer.

Ainsi les trois Silmarils trouvèrent-il leur destination finale : dans les airs, dans les feux de la Terre, et dans les profondeurs de la mer. Il est dit qu'ils seront récupérés à la fin des Temps, Dagor Dagorath.