Nella zona rocciosa di Kakavos, nella parte sud-occidentale di Lemno, la chiesa di Panagia Kakaviotissa si trova all’interno di una grotta rocciosa. L’edificio, di piccola superficie (superficie 18,36 mq), ha due vani, pianta rettangolare ed è formato da bassi muri (altezza 1,01 m – 1,97 m, larghezza 0,48 mq – 0,67 m) realizzati con materiali ignei e pietre e poroliti semiignee, domestiche, grigiastre. Il tempio ad est è aggrappato alla roccia, mentre gli altri tre lati sono liberi. Il santuario è separato dallo spazio centrale da un muro trasversale in pietra a forma di iconostasi.
Nella stessa località è testimoniata l’esistenza di un monidrato che nel XIV secolo (1305) divenne una gleba e divenne proprietà del Monastero di Megisti Lavra del Monte Athos. Nella chiesa, ogni martedì della settimana intercalare si tiene la Divina Liturgia e vi viene portata l’icona di Panagia Kakaviotissa, che è l’unico monumento mobile sopravvissuto della gleba.