Ali Çelebi Camii; Rize’nin Hemşin İlçesi, Yaltkaya Köyü sınırları içerisinde yer almaktadır. Şehir içi ulaşım araçlarıyla ulaşım mümkündür.
Yığma yapım sistem ile inşa edilen tek katlı yapı, kesme taştan inşa edilmiştir. Camii kareye yakın dikdörtgen planlı harim ana mekândan oluşmaktadır. Hicri 1324 (Miladi 1906) yılında yapılan cami, Papager Camii olarak da anılmaktadır. Önceden kiremit malzeme ile örtülü olan kırma çatısı, daha sonra sac levha ile kaplanmıştır. Geniş olan çatı saçağının döşemesi ahşaptır. Batı cephesine bitişik olan minaresi kesme taş malzeme ile inşa edilmiştir ve tek şerefelidir.
Camiye giriş kuzey ve doğu cephelerden sağlanmaktadır. Her iki girişte de düzgün kesme taş söveli, çift kanatlı ahşap kapılar bulunmaktadır. Özenli işçilikli kapılar stil olarak dikkat çekicidir. Ahşap kapılar üç panoya ayrılmıştır ve her panoda geometrik ve bitkisel desenli süslemeler bulunmaktadır. Kapıların üst kısımları ise üçgen alınlık ile sonlanmaktadır. Caminin doğu cephesinde yer alan giriş kapısının üstünde Türkçe ve Osmanlıca kitabesi yer almaktadır. Osmanlıca olan kitabesi iki bölüm halinde beş satır olarak düzenlenmiştir.
En altta Hicri 1324 (Miladi 1906) tarihi yer almaktadır. Alt sırada içten yuvarlak kemerli olan pencereleri dikdörtgen formludur ve üst kısımları vitraylıdır. Ana mekânın kuzey tarafında yer alan kadınlar mahfili, iki ahşap sütun ile taşınmaktadır. Mahfilin ortasında yarım daire şeklinde köşkü yer alır. Mahfil korkuluklarında geometrik ve bitkisel desenli bordürü vardır. Mahfilin alt kat tavanında yine geometrik ve bitkisel desenli tavan göbeği bulunmaktadır.
İkinci kat mahfil tavanın ortasında yer alan küçük kubbesinin iç kısmı kalem işi süslemelidir. Mahfil katında önceden var olan son cemaat yerine açılan çift kanatlı süslemesiz ahşap kapı bulunmaktadır. Kademeli nişi bulunan mihrabın etrafı payeli silmelidir. Ahşap olan minberin kapısı yivli sütunludur. Girişin ortasında kitabesi yer alır. Alınlık kısmında ise güneş betimli ajur tekniği ile yapılmış bir madalyon bulunmaktadır.
Madalyon kalp şeklinde motiflerle desteklenmiştir. Etrafı ‘’S’’ motifli bordür ile çevrilidir. Vaaz kürsüsünün korkuluğu panolara ayrılmış olup her birinde süslemeler yer alır. Ana mekân tavanının ortasında içi kalem işi ile süslü büyük kubbe bulunmaktadır. Bu kubbenin kenarlarında ise küçük kubbeler yer alır. Bazı kaynaklarda caminin Hacı Memiş Paşa tarafından 1863 yılında yaptırıldığı, 1906 yılında Hacı Ruşen Efendi tarafından onarıldığı geçmektedir.
