Im Jahr 1957 gründete Martin Luther King zusammen mit Ralph David Abernathy, Fred Shutterworth und Bayard Rustin die Southern Christian Leadership Conference (SCLC). Das Hauptziel der SCLC mit Sitz in Atlanta, Georgia, war die Koordinierung und Unterstützung lokaler Organisationen, die sich für die volle Gleichberechtigung der Afroamerikaner einsetzten. King wurde zum Präsidenten und Abernathy zum Sekretär und Schatzmeister gewählt. Die neue Organisation verpflichtete sich zur Gewaltlosigkeit im Kampf für die Bürgerrechte, und die SCLC nahm das Motto an: „Nicht ein Haar eines Kopfes einer Person sollte verletzt werden.“
Im Jahr 1963 spielte die SCLC eine wichtige Rolle in den Kampagnen gegen die Segregation an den Essensausgaben und bei den Wählerregistrierungskampagnen. Im Jahr darauf organisierte sie zusammen mit dem Congress on Racial Equality (CORE) den berühmten March on Washington. Am 28. August 1963 marschierten mehr als 200.000 Menschen friedlich zum Lincoln Memorial, um gleiche Gerechtigkeit für alle Bürger vor dem Gesetz zu fordern. Am Ende des Marsches hielt Martin Luther King seine berühmte „I Have a Dream“-Rede.
Nach Kings Ermordung im Jahr 1968 wurde Ralph David Abernathy Präsident der Southern Christian Leadership Conference. Dieses Amt hatte er bis zu seiner Pensionierung im Jahr 1977 inne.