Little, Brown and Company miała swoje korzenie w handlu książkami. Została założona w 1837 roku w Bostonie przez Charlesa Little’a i Jamesa Browna. Założyli oni spółkę „w celu publikowania, importowania i sprzedawania książek”. Wcześniej jej korzenie sięgają roku 1784, kiedy to Ebenezer Battelle prowadził księgarnię na Marlborough Street. Publikowali oni dzieła Benjamina Franklina i George’a Washingtona, specjalizowali się w wydawnictwach prawniczych i imporcie tytułów. Przez wiele lat był to najobszerniejszy wydawca prawniczy w Stanach Zjednoczonych, a także największy importer standardowych angielskich dzieł prawniczych i różnych, wprowadzający amerykańskich nabywców do Encyclopædia Britannica, słowników Williama Smitha i wielu innych standardowych dzieł. We wczesnych latach Little and Brown opublikowała Dzieła Daniela Webstera, Historię Stanów Zjednoczonych George’a Bancrofta, Ferdynanda i Izabelę Williama H. Prescotta, pierwszą książkę poetycką Jonesa Very’ego (zredagowaną przez Ralpha Waldo Emersona), Listy Johna Adamsa oraz prace Jamesa Russella Lowella i Francisa Parkmana. Little, Brown and Company było amerykańskim wydawcą The Decline and Fall of the Roman Empire Edwarda Gibbona.
Firma była pierwotnym wydawcą United States Statutes at Large począwszy od 1845 roku, na mocy upoważnienia przyznanego przez wspólną uchwałę Kongresu. W 1874 r. Kongres przekazał uprawnienia do publikowania Statutes at Large do Government Printing Office, które od tego czasu jest odpowiedzialne za produkcję zbioru. 1 U.S.C. § 113 nadal uznaje, że ich wydanie ustaw i traktatów Stanów Zjednoczonych jest właściwym dowodem kilku publicznych i prywatnych aktów Kongresu, traktatów i umów międzynarodowych innych niż traktaty Stanów Zjednoczonych.
W 1853 roku wydawnictwo Little, Brown rozpoczęło publikację dzieł brytyjskich poetów od Chaucera do Wordswortha. W ciągu pięciu lat w serii ukazało się dziewięćdziesiąt sześć tomów.
W 1859 roku John Bartlett został partnerem w firmie. Posiadał prawa do swoich Familiar Quotations, a Little, Brown opublikowało 15. edycję dzieła w 1980 roku, 125 lat po jego pierwszej publikacji. John Murray Brown, syn Jamesa Browna, przejął firmę, gdy Augustus Flagg przeszedł na emeryturę w 1884 roku. W latach 90. XIX wieku Little, Brown rozszerzyło działalność na wydawnictwa ogólne, w tym beletrystykę. W 1896 roku opublikowała Quo Vadis. W 1898 roku Little, Brown zakupiło listę tytułów od firmy Roberts Brothers. Wśród XIX-wiecznych pracowników był Charles Carroll Soule.