En 1957 Martin Luther King se unió a Ralph David Abernathy, Fred Shutterworth y Bayard Rustin para formar la Conferencia de Liderazgo Cristiano del Sur (SCLC). Con sede en Atlanta, Georgia, el objetivo principal de la SCLC era coordinar y ayudar a las organizaciones locales que trabajaban por la plena igualdad de los afroamericanos. King fue elegido presidente y Abernathy secretario-tesorero. La nueva organización se comprometió a utilizar la no violencia en la lucha por los derechos civiles, y el SCLC adoptó el lema: «No se debe dañar ni un pelo de la cabeza de una persona»
En 1963, el SCLC desempeñó un papel importante en las campañas contra la segregación en los mostradores de comida y en las campañas de registro de votantes. Al año siguiente se unió al Congreso por la Igualdad Racial (CORE) para organizar la famosa Marcha sobre Washington. El 28 de agosto de 1963, más de 200.000 personas marcharon pacíficamente hacia el monumento a Lincoln para exigir una justicia igualitaria para todos los ciudadanos bajo la ley. Al final de la marcha, Martin Luther King pronunció su famoso discurso «Tengo un sueño».
Tras el asesinato de King en 1968, Ralph David Abernathy se convirtió en el presidente de la Southern Christian Leadership Conference. Ocupó este cargo hasta su jubilación en 1977.