La iglesia fue fundada en 1886 por el pastor John A. Parker y ocho personas. El nombre de la iglesia deriva de los libros de Samuel, donde éste nombra un lugar «Ebenezer», que significa «piedra de ayuda», para conmemorar que Dios ayudó a los israelitas a derrotar a los filisteos.
Adam Daniel Williams (abuelo materno de Martin Luther King Jr.) se convirtió en pastor en 1894, y la iglesia tenía sólo 13 miembros. En 1903 aumentó a 400 miembros y en 1913 la iglesia contaba con 750 personas. En 1922, se dedicó el edificio. En 1927, Martin Luther King Sr. se convirtió en pastor asistente, junto con su suegro. Más tarde se convirtió en el pastor principal cuando el reverendo Williams murió en 1931. En 1960, Martin Luther King Jr. se convirtió en copastor de la iglesia con su padre hasta su asesinato en 1968.
En 1999, se inauguró un nuevo edificio de la iglesia con capacidad para 1700 personas, llamado Horizon Sanctuary, dentro del Martin Luther King Jr. National Historical Park.
Desde 2005, el senador estadounidense Raphael Warnock ha sido el pastor principal de la Iglesia Bautista Ebenezer; es la quinta persona que sirve como pastor principal de Ebenezer desde su fundación. El 30 de enero de 2020, Warnock anunció su campaña para el escaño de Kelly Loeffler en el Senado durante las elecciones especiales de 2020. En una segunda vuelta especial el 5 de enero de 2021, el reverendo Warnock derrotó a Loeffler recibiendo el 51% del voto popular. Con esta victoria, Warnock hizo historia al convertirse en el primer senador negro del estado de Georgia.
El funeral de Martin Luther King Jr. se celebró en la iglesia el 9 de abril de 1968. El funeral de Rayshard Brooks se celebró el 23 de junio de 2020 en la iglesia. El funeral de John Lewis se celebró el 30 de julio de 2020 en la iglesia.