Die Kirche wurde im Jahr 1886 von Pastor John A. Parker und acht Personen gegründet. Der Name der Kirche stammt aus den Büchern Samuel, wo der Samuel einen Ort „Ebenezer“ nennt, was „Stein der Hilfe“ bedeutet, um daran zu erinnern, dass Gott den Israeliten half, die Philister zu besiegen.
Adam Daniel Williams (Großvater mütterlicherseits von Martin Luther King Jr.) wurde 1894 Pastor, und die Kirche hatte nur 13 Mitglieder. Bis 1903 wuchs sie auf 400 Mitglieder an und 1913 zählte die Gemeinde 750 Menschen. Im Jahr 1922 wurde das Gebäude eingeweiht. Im Jahr 1927 wurde Martin Luther King Sr. zusammen mit seinem Schwiegervater Hilfspastor. Er wurde später der Hauptpastor, als Rev. Williams 1931 starb. Im Jahr 1960 wurde Martin Luther King Jr. zusammen mit seinem Vater Co-Pastor der Kirche bis zu seiner Ermordung im Jahr 1968.
Im Jahr 1999 wurde ein neues Kirchengebäude mit 1.700 Sitzplätzen namens Horizon Sanctuary innerhalb des Martin Luther King Jr. National Historical Park eingeweiht.
Seit 2005 ist der US-Senator Raphael Warnock der leitende Pastor der Ebenezer Baptist Church; er ist die fünfte Person, die seit der Gründung als leitender Pastor von Ebenezer dient. Am 30. Januar 2020 kündigte Warnock seine Kampagne für den Senatssitz von Kelly Loeffler bei den Sonderwahlen 2020 an. In einer Sonderstichwahl am 5. Januar 2021 besiegte Reverend Warnock Loeffler mit 51% der Stimmen. Mit diesem Sieg schrieb Warnock Geschichte, indem er der erste schwarze Senator des Staates Georgia wurde.
Die Beerdigung von Martin Luther King Jr. fand am 9. April 1968 in der Kirche statt. Die Beerdigung von Rayshard Brooks wurde am 23. Juni 2020 in der Kirche abgehalten. Die Beerdigung von John Lewis wurde am 30. Juli 2020 in der Kirche abgehalten.