En 1957, Martin Luther King s’est associé à Ralph David Abernathy, Fred Shutterworth et Bayard Rustin pour former la Southern Christian Leadership Conference (SCLC). Basée à Atlanta, en Géorgie, la SCLC avait pour principal objectif de coordonner et d’aider les organisations locales œuvrant pour la pleine égalité des Afro-Américains. King est élu président et Abernathy secrétaire-trésorier. La nouvelle organisation s’engageait à utiliser la non-violence dans la lutte pour les droits civiques, et le SCLC a adopté la devise suivante : « Pas un cheveu d’une tête d’une personne ne doit être blessé. »
En 1963, le SCLC a joué un rôle important dans les campagnes contre la ségrégation aux comptoirs de restauration et les campagnes d’inscription des électeurs. L’année suivante, il s’associe au Congrès pour l’égalité raciale (CORE) pour organiser la célèbre Marche sur Washington. Le 28 août 1963, plus de 200 000 personnes ont défilé pacifiquement jusqu’au Lincoln Memorial pour exiger une justice égale pour tous les citoyens en vertu de la loi. À la fin de la marche, Martin Luther King prononce son célèbre discours « I Have a Dream ».
Après l’assassinat de King en 1968, Ralph David Abernathy devient le président de la Southern Christian Leadership Conference. Il a occupé ce poste jusqu’à sa retraite en 1977.
.