Klein wurde am 4. März 1922 als Sohn einer Landwirtschaftsfamilie auf dem Bornerhof bei Furschweiler geboren. Er besuchte das Gymnasium Wendalinum in St. Wendel und wurde vor dem Abschluss als Soldat in den Krieg eingezogen.

Nach dem Abitur trat er in das Bischöfliche Priesterseminar in Trier ein und studierte Theologie und Philosophie. Am 29. März 1952 wurde er von Bischof Matthias Wehr im Hohen Dom zu Trier zum Priester geweiht und wirkte als Kaplan in Saarbrücken Herz Jesu und in Dillingen-Pachten. Danach ernannte ihn der Bischof zum Pfarrverwalter von St. Josef in Neunkirchen-Furpach und ab 1961 zum dortigen Pfarrer. 1967 wechselte er als Pfarrer nach Rehlingen und von 1981 bis zu seinem Eintritt in den Ruhestand 1992 wirkte er in den Pfarreien St. Martin in Fell und Riol an der Mosel.

Die ersten Jahre seines Ruhestandes verbrachte er in Oberthal und ab 2000 in St. Wendel. Hier habe er sich mit großem seelsorgerlichem Eifer eingebracht und den Ortsgeistlichen in Gottesdiensten sowie beim Spenden der Sakramente geholfen, schreibt die Pfarreiengemeinschaft St. Wendel. Klein sei für viele ein Ansprechpartner gewesen. Seine besondere Zuwendung galt den Bewohnern in der Stiftung Hospital, mit denen er Gottesdienste feierte und die Sakramente spendete.

Pastor Klaus Leist würdigte den Verstorbenen, den zu Lebzeiten zweitältesten Priester des Bistums Trier, als freundlichen und gütigen Menschen, der seinen Mitmenschen mit großem Respekt und Wohlwollen begegnete. Er sei ein seelsorglicher Ansprechpartner, Ratgeber sowie ein glaubwürdiger Zeuge für das Evangelium gewesen, der auch für die priesterlichen Mitbrüder ein liebenswürdiger und hilfsbereiter Ratgeber war.