A origem do culto à Nossa Senhora do Terço provém da devoção à Nossa Senhora do Rosário. Segundo estudiosos, ao contrário da Irmandade do Rosário, constituída por uma maioria negra, a Confraria do Terço era composta sobretudo por cidadãos mulatos. No Rio, a confraria de Nossa Senhora do Terço foi criada em 1722 e, sem possuir sede, ocupava um altar na igreja de São José. Em 1843, existia uma capela simples e abandonada, até então dedicada ao Senhor dos Passos. Cedida à Mitra, foi reformada e aumentada, tomando a forma atual. Desde 1848 é ocupada pela Confraria do Terço. Seu interior apresenta rico revestimento de talha barroca de madeira.