Părinţii lui l-au crescut cu multă grijă, lucru care a fost de folos întregii Biserici, de vreme ce copilul acesta avea să fie alcătuitor de versuri şi de cântări ce au împodobit toată Biserica lui Dumnezeu. Căzând patria sa, Sicilia, în mâinile arabilor, fericitul Iosif a plecat împreună cu părinţii lui în Grecia şi s-a aşezat în Peloponez, apoi în Tesalonic. Tânărul Iosif, având nevoie de linişte, a intrat în Mănăstirea Latomos, făcându-se călugăr, ducând acolo o viaţă de mare asprime.
Toată noaptea priveghea stând în picioare sau în genunchi, rugându-se şi înălţând Domnului cântări de laudă şi de preaslăvire, pe care el însuşi le alcătuia cu multă măiestrie, uimindu-i pe toţi cei ce-l ascultau. A avut fericirea de a fi ucenicul Sfântului Grigorie Decapolitul, din îndemnul căruia Cuviosul Iosif a plecat la Roma pentru a vesti că la Bizanţ a început din nou lupta împotriva sfintelor icoane. Episcop al Romei era în acea vreme fericitul Leon al III-lea (795-816), iar împăraţii ce luptau împotriva cinstirii sfintelor icoane erau Leon Armeanul (814-820) şi Teofil (829-842). Cuviosul Iosif nu a ajuns însă la Roma, deoarece corabia cu care călătorea a căzut în mâinile arabilor, care l-au dus în insula Creta, unde l-au ţinut închis 6 ani. După ce a fost eliberat, cuviosul s-a retras într-un schit unde a început a alcătui cântări, imnuri şi canoane bisericeşti. A fost surghiunit în Herson pentru că a avut curajul să mărturisească cinstirea sfintelor icoane, de unde s-a întors abia după moartea împăratului Teofil, în anul 842, la chemarea Sfintei Împărătese Teodora. Cuviosul Iosif Imnograful s-a mutat în pace la Domnul, fiind lăudat prin cântări în ceruri de toţi sfinţii.