Kościół został założony w 1886 roku przez pastora Johna A. Parkera i osiem osób. Nazwa kościoła wywodzi się z Ksiąg Samuela, gdzie Samuel nazywa miejsce „Ebenezer”, co oznacza „kamień pomocy”, na pamiątkę Boga pomagającego Izraelitom pokonać Filistynów.
Adam Daniel Williams (dziadek Martina Luthera Kinga Jr.) został pastorem w 1894 roku, a kościół miał tylko 13 członków. Do 1903 r. liczba członków wzrosła do 400, a w 1913 r. kościół liczył 750 osób. W 1922 roku budynek został poświęcony. W 1927 roku Martin Luther King Sr. został asystentem pastora, wraz ze swoim teściem. Później został głównym pastorem, kiedy Rev. Williams zmarł w 1931 roku. W 1960 roku Martin Luther King Jr. został współ-pastorem kościoła wraz z ojcem, aż do jego zabójstwa w 1968 roku.
W 1999 roku na terenie Martin Luther King Jr. został otwarty nowy budynek kościelny na 1700 miejsc o nazwie Horizon Sanctuary. National Historical Park.
Od 2005 roku starszym pastorem Ebenezer Baptist Church jest senator Stanów Zjednoczonych Raphael Warnock; jest on piątą osobą, która pełniła tę funkcję od czasu założenia kościoła. 30 stycznia 2020 roku Warnock ogłosił swoją kampanię na miejsce Kelly Loeffler w Senacie podczas specjalnych wyborów w 2020 roku. W specjalnym głosowaniu w dniu 5 stycznia 2021 roku, wielebny Warnock pokonał Loefflera otrzymując 51% głosów. Dzięki temu zwycięstwu Warnock zapisał się w historii, stając się pierwszym czarnoskórym senatorem ze stanu Georgia.
Pogrzeb Martina Luthera Kinga Jr. odbył się w kościele 9 kwietnia 1968 roku. Pogrzeb Raysharda Brooksa odbył się 23 czerwca 2020 roku w tym kościele. Pogrzeb Johna Lewisa odbył się 30 lipca 2020 roku w kościele.