La chiesa fu fondata nel 1886 dal pastore John A. Parker e otto persone. Il nome della chiesa deriva dai Libri di Samuele, dove Samuele nomina un luogo “Ebenezer”, che significa “pietra di aiuto”, per commemorare Dio che aiuta gli israeliti a sconfiggere i filistei.
Adam Daniel Williams (nonno materno di Martin Luther King Jr.) divenne pastore nel 1894, e la chiesa aveva solo 13 membri. Nel 1903 crebbe fino a 400 membri e nel 1913 la chiesa contava 750 persone. Nel 1922, l’edificio fu dedicato. Nel 1927, Martin Luther King Sr. divenne assistente pastore, con suo suocero. In seguito divenne il pastore principale quando il Rev. Williams morì nel 1931. Nel 1960, Martin Luther King Jr. divenne co-pastore della chiesa con suo padre fino al suo assassinio nel 1968.
Nel 1999, un nuovo edificio da 1.700 posti chiamato Horizon Sanctuary fu inaugurato all’interno del Martin Luther King Jr. National Historical Park.
Dal 2005, il senatore degli Stati Uniti Raphael Warnock è il pastore senior della Ebenezer Baptist Church; è la quinta persona a servire come pastore senior di Ebenezer dalla sua fondazione. Il 30 gennaio 2020, Warnock ha annunciato la sua campagna per il seggio al Senato di Kelly Loeffler durante le elezioni speciali del 2020. In un ballottaggio speciale il 5 gennaio 2021, il reverendo Warnock ha sconfitto Loeffler ricevendo il 51% del voto popolare. Con questa vittoria, Warnock ha fatto la storia diventando il primo senatore nero dello stato della Georgia.
Il 9 aprile 1968 si sono tenuti in chiesa i funerali di Martin Luther King Jr. Il funerale di Rayshard Brooks si è tenuto il 23 giugno 2020 nella chiesa. Il funerale di John Lewis si è tenuto il 30 luglio 2020 nella chiesa.