Когато родината му била нападната от врагове, той бил още дете. За да се спаси, цялото семейство избягало от Сицилия и се преселило в Пелопонес (Южна Гърция). Родителите останали да живеят там, а младият Йосиф отишъл в гр. Солун, където постъпил в манастир.
Младият инок изпълнявал с усърдие всички манастирски задължения. Проявил пълно послушание, прекарвал времето си в труд и молитва и четене на словото Божие. Всички братя го обикнали за неговия благочестив живот и се удивлявали на голямата му мъдрост. След известно време в Солун дошъл св. Григорий Декаполит. Той се запознал с младия Йосиф – вече свещеник и много го обикнал.
По това време животът на Христовата църква на Изток бил смутен от ереста на иконоборците. Християните, които почитали светите икони, били преследвани и жестоко измъчвани. Най-разпалена била тази борба в Цариград, където по-рано начело на иконоборците застанали императорите Лъв III Исаврянин (717–741 г) и Константин V Копроним (741–775 г.). След кратко затишие гонението било отново възобновено през първата половина па деветия век от императорите Лъв V Арменец (813-820 г.) и Теофил (829–842 г.). А това е тъкмо времето, през което е живял преподобни Йосиф Песнописец.
Когато императорът Лъв Арменец възобновил гонението срещу почитателите на светите икони, той ги подлагал на тежки наказания: отстранявал от служението православните епископи и свещеници и ги затварял в тъмница, а на тяхно място поставял еретици – иконоборци. Свети Григорий Декаполит, който отивал в Цариград да подкрепи духа на тамошните християни, помолил игумена на манастира да пусне с него Йосиф.
Мъчно било на игумена и на братята да се разделят със своя събрат, но като преценили нуждите на Църквата, те изпълнили молбата на св. Григорий. Като пристигнали в Цариград, св. Григорий и Йосиф облечени в непробиваемата броня на вярата, по площади, улици и по домове съветвали християните да не слушат лъжливото учение на лукавите еретици, а да се придържат към древното учение на Църквата.
Гонението все повече се засилвало. Наказанията взимали масов характер и ставали все по-тежки и по-жестоки. Православните изнемогвали. Тогава св. Григорий решил да изпрати Йосиф в Рим при папа Лъв ІІІ с молба за помощ. (По онова време Цариградската и Римската църква още не били разделени.) Трудно и опасно било да се изпълни това поръчение, защото правителството строго следяло всички, които излизат от Цариград. Йосиф знаел това, но приел тази опасна мисия. Качил се на един кораб и се отправил за Рим. В морето обаче корабът бил спрян, Йосиф бил заловен и затворен в тъмница на остров Крит. Цели шест години престоял Йосиф в тъмница.
След смъртта на Лъв Армянин гонението срещу почитателите на светите икони се прекратило. Преданието разказва, че св. Николай Чудотворец се явил на Йосиф в тъмницата и му съобщил за смъртта на императора, а след това по чудесен начин го избавил от тъмницата. Йосиф веднага заминал за Цариград, но там с огорчение узнал, че св. Григорий Декаполит не е вече жив. Йосиф построил църква на името на св. Николай, пренесъл в нея тялото на св. Григорий, а наблизо издигнал и манастир, в който скоро се събрали много монаси.
Не било съдено на Йосиф да продължи спокойно живота си в съградената от него обител. Църквата отново била смутена от еретиците. Иконоборците намерили подкрепа от император Теофил (829–842 г.). Гонението срещу православните започнало с нова сила. Йосиф се явил непоколебим защитник на учението на Църквата и затова бил заточен в Херсон, където останал до смъртта на императора. Знатният велможа Варда, брат на императрицата, се развел с жена си и се оженил за една близка своя роднина, като с това нарушил църковните канони.
Както някога св. Йоан Предтеча изобличил Ирода, загдето се оженил за братовата си жена, така сега преподобни Йосиф изобличил Варда за беззаконната му постъпка. Това озлобило всесилния Варда и той изпратил на заточение Йосифа и патриарх Игнатий.
Когато по-късно на византийския престол се възкачил Василий Македонянин (867–886 г.), преподобни Йосиф отново бил върнат от заточение. Последните дни от живота си той прекарал в Цариград, обичан и уважаван от всички. Патриарх Фотий много почитал преподобния. Той го наричал "човек Божий", "ангел в плът" и "отец на отците" и наредил всички духовници да го приемат за свой духовен отец, като му разкриват своята съвест и изповядват пред него греховете си. И досега вярващите слушат съставените от преподобни Йосиф Песнописец химни и се наслаждават на чудната поезия, с която той е възхвалил подвизите и делата на Божиите угодници.