In 1957 sloot Martin Luther King zich aan bij Ralph David Abernathy, Fred Shutterworth, en Bayard Rustin om de Southern Christian Leadership Conference (SCLC) op te richten. De SCLC, gevestigd in Atlanta, Georgia, had als hoofddoel het coördineren en bijstaan van lokale organisaties die zich inzetten voor de volledige gelijkheid van Afro-Amerikanen. King werd tot voorzitter gekozen en Abernathy tot secretaris-penningmeester. De nieuwe organisatie legde zich toe op het gebruik van geweldloosheid in de strijd voor burgerrechten, en de SCLC nam het motto aan: “Niet één haar van één hoofd van één persoon mag worden geschaad.”
In 1963 speelde de SCLC een belangrijke rol in de campagnes tegen de segregatie van lunchloketten en de kiezersregistratie. Het jaar daarop organiseerde de SCLC samen met het Congres voor Raciale Gelijkheid (CORE) de beroemde Mars op Washington. Op 28 augustus 1963 marcheerden meer dan 200.000 mensen vreedzaam naar het Lincoln Memorial om gelijke rechten voor alle burgers onder de wet te eisen. Aan het eind van de mars hield Martin Luther King zijn beroemde “I Have a Dream” toespraak.
Na de moord op King in 1968 werd Ralph David Abernathy de voorzitter van de Southern Christian Leadership Conference. Hij bleef deze functie bekleden tot zijn pensionering in 1977.