Em 1957 Martin Luther King juntou-se a Ralph David Abernathy, Fred Shutterworth, e Bayard Rustin para formar a Conferência de Liderança Cristã do Sul (SCLC). Com sede em Atlanta, Geórgia, o principal objectivo da SCLC era coordenar e assistir as organizações locais que trabalham para a plena igualdade dos afro-americanos. King foi eleito presidente e Abernathy secretário/tesoureiro. A nova organização estava empenhada em utilizar a não-violência na luta pelos direitos civis, e SCLC adoptou o lema: “Nem um cabelo de uma cabeça de uma pessoa deve ser ferido”
Em 1963 o SCLC desempenhou um papel importante nas campanhas contra a segregação ao almoço e nas campanhas de registo de eleitores. No ano seguinte juntou-se ao Congresso para a Igualdade Racial (CORE) para organizar a famosa Marcha em Washington. A 28 de Agosto de 1963, mais de 200.000 pessoas marcharam pacificamente até ao Lincoln Memorial para exigir justiça igual para todos os cidadãos ao abrigo da lei. No final da marcha, Martin Luther King fez o seu famoso discurso “I Have a Dream”.
Após o assassinato de King em 1968, Ralph David Abernathy tornou-se o presidente da Conferência de Liderança Cristã do Sul. Ele ocupou este cargo até à sua reforma em 1977.