Né à Nisibis, en Mésopotamie, il fut baptisé dans sa jeunesse et devint célèbre en tant qu'enseignant dans sa ville natale. Lorsque l'empereur chrétien a dû céder Nisibis aux Perses, Ephrem s'est réfugié à Édesse, avec de nombreux autres chrétiens. C'est à lui que l'on attribue la grande gloire de l'école biblique d'Édesse. Il fut ordonné diacre mais refusa de devenir prêtre.

C'était un grand écrivain et ses écrits témoignent de sa sainteté. Bien qu'il n'ait pas été un grand érudit, ses œuvres témoignent d'une profonde perspicacité et d'une grande connaissance des Écritures. En écrivant sur les mystères de la rédemption de l'humanité, Ephrem révèle un esprit réaliste et humainement sympathique, ainsi qu'une grande dévotion à l'humanité de Jésus. On dit que son récit poétique du Jugement dernier a inspiré Dante.

Il est surprenant de lire qu'il a écrit des hymnes contre les hérétiques de son temps. Il reprenait les chansons populaires des groupes hérétiques et composait, à partir de leurs mélodies, de beaux hymnes incarnant la doctrine orthodoxe. Ephrem fut l'un des premiers à introduire le chant dans le culte public de l'Église comme moyen d'instruction pour les fidèles. Ses nombreux hymnes lui ont valu le titre de "Harpe du Saint-Esprit".

Ephrem préférait une vie simple et austère, vivant dans une petite grotte surplombant la ville d'Édesse. C'est là qu'il mourut vers 373.