Nato a Nisibis, in Mesopotamia, fu battezzato da giovane e divenne famoso come insegnante nella sua città natale. Quando l'imperatore cristiano dovette cedere Nisibis ai Persiani, Efrem si rifugiò a Edessa, insieme a molti altri cristiani. A lui si attribuisce il merito di aver attirato grande gloria alla scuola biblica del luogo. Fu ordinato diacono ma rifiutò di diventare sacerdote.

Fu un grande scrittore e i suoi scritti testimoniano la sua santità. Sebbene non fosse un uomo di grande cultura, le sue opere riflettono una profonda comprensione e conoscenza delle Scritture. Scrivendo dei misteri della redenzione dell'umanità, Efrem rivela uno spirito realistico e umanamente comprensivo e una grande devozione per l'umanità di Gesù. Si dice che il suo racconto poetico del Giudizio Universale abbia ispirato Dante.

È sorprendente leggere che scrisse inni contro gli eretici del suo tempo. Prendeva le canzoni popolari dei gruppi eretici e, usando le loro melodie, componeva bellissimi inni che incarnavano la dottrina ortodossa. Efrem fu uno dei primi a introdurre il canto nel culto pubblico della Chiesa come mezzo di istruzione per i fedeli. I suoi numerosi inni gli sono valsi il titolo di "Arpa dello Spirito Santo".

Efrem preferì una vita semplice e austera, vivendo in una piccola grotta che dominava la città di Edessa. Qui morì intorno al 373.