Küçük Ayasofya Camii; Eminönü İlçesi’nde Cankurtaran ve Kadırga semtleri arasında Bizans İmparatoru İustinianos tarafından kilise olarak inşa edilmiştir. 530’lu yıllarda inşa edilen Sergios ve Bakhos adlı bu kilise, İstanbul’un fethinden sonra II. Bayezid döneminde Darüssaade Ağası Hüseyin Ağa tarafından camiye dönüştürülmüş, camiye dönüştürülmesinden sonra avlunun etrafına zaviye hücreleri ve Hüseyin Ağa’nın türbesi inşa edilmiştir.
 
Duvar örgüsü taş ve tuğladan olan, kare plan üzerine kubbeli olarak bina edilen cami; 1648 ve 1763 yıllarındaki depremlerde zarar görmüş ve 1831 yılında elden geçirilmiştir. 1860 yılında yapının yakınından geçen demir yolu hattı da yapıya büyük ölçüde hasar vermiştir. Ayrıca; caminin barok üslupta inşa edilmiş eski minaresinin 18 yy.ın ikinci yarısından sonra inşa edildiği düşünülmektedir. Bu minare 1936 yılında bilinmeyen bir nedenle yıktırılmış ve uzun süre bu şekilde kaldıktan sonra 1955 yılında caminin bugünkü minaresi, camiye ilave edilmiştir. Avludaki sekizgen havuzlu tarihi mermer şadırvan da 1938 yılında yıkılmıştır.