A igreja foi fundada em 1886 pelo Pastor John A. Parker e oito pessoas. O nome da igreja deriva dos Livros de Samuel, onde o Samuel nomeia um lugar “Ebenezer”, que significa “pedra de ajuda”, para comemorar Deus ajudando os israelitas a derrotar os filisteus.
Adam Daniel Williams (avô materno de Martin Luther King Jr.) tornou-se pastor em 1894, e a igreja tinha apenas 13 membros. Aumentou para 400 membros em 1903 e em 1913, a igreja tinha 750 pessoas. Em 1922, o edifício foi dedicado. Em 1927, Martin Luther King Sr. tornou-se pastor assistente, com o seu sogro. Mais tarde, tornou-se pastor principal quando o Rev. Williams morreu em 1931. Em 1960, Martin Luther King Jr. tornou-se co-pastor da igreja com o seu pai até ao seu assassinato em 1968.
Em 1999, um novo edifício da igreja de 1.700 lugares, chamado Santuário Horizon, foi inaugurado no interior do Martin Luther King Jr. Parque Histórico Nacional.
Desde 2005, o Senador norte-americano Raphael Warnock tem sido o pastor sénior da Igreja Baptista de Ebenezer; é a quinta pessoa a servir como pastor sénior de Ebenezer desde a sua fundação. A 30 de Janeiro de 2020, Warnock anunciou a sua campanha para o lugar de Kelly Loeffler no Senado durante as eleições especiais de 2020. Numa eleição especial no dia 5 de Janeiro de 2021, o Reverendo Warnock derrotou Loeffler, recebendo 51% dos votos populares. Com esta vitória, Warnock fez história ao tornar-se o primeiro senador negro do estado da Geórgia.
O funeral de Martin Luther King Jr. foi realizado na igreja a 9 de Abril de 1968. O funeral de Rayshard Brooks realizou-se no dia 23 de Junho de 2020 na igreja. O funeral de John Lewis realizou-se a 30 de Julho de 2020 na igreja.