L’église a été fondée en 1886 par le pasteur John A. Parker et huit personnes. Le nom de l’église provient des Livres de Samuel, où ce dernier nomme un lieu « Ebenezer », ce qui signifie « pierre de secours », pour commémorer l’aide de Dieu aux Israélites pour vaincre les Philistins.
Adam Daniel Williams (grand-père maternel de Martin Luther King Jr.) devient pasteur en 1894, et l’église ne compte que 13 membres. Elle passe à 400 membres en 1903 et en 1913, l’église compte 750 personnes. En 1922, le bâtiment a été inauguré. En 1927, Martin Luther King Sr. devient pasteur adjoint, avec son beau-père. Il devient ensuite le pasteur principal à la mort du révérend Williams en 1931. En 1960, Martin Luther King Jr. devient copasteur de l’église avec son père, jusqu’à son assassinat en 1968.
En 1999, un nouveau bâtiment d’église de 1 700 places, appelé le sanctuaire Horizon, est inauguré au sein du Martin Luther King Jr. National Historical Park.
Depuis 2005, le sénateur américain Raphael Warnock est le pasteur principal de l’église baptiste d’Ebenezer ; il est la cinquième personne à occuper ce poste depuis sa fondation. Le 30 janvier 2020, Warnock a annoncé sa campagne pour le siège de Kelly Loeffler au Sénat lors de l’élection spéciale de 2020. Lors du second tour de l’élection spéciale du 5 janvier 2021, le révérend Warnock a battu Loeffler en obtenant 51 % du vote populaire. Avec cette victoire, Warnock est entré dans l’histoire en devenant le premier sénateur noir de l’État de Géorgie.
Les funérailles de Martin Luther King Jr ont eu lieu à l’église le 9 avril 1968. Les funérailles de Rayshard Brooks ont eu lieu le 23 juin 2020 à l’église. Les funérailles de John Lewis ont eu lieu le 30 juillet 2020 à l’église.
.