Little, Brown and Company had zijn wortels in de handel in boeken. Het bedrijf werd in 1837 in Boston opgericht door Charles Little en James Brown. Zij richtten de vennootschap op “met het doel boeken uit te geven, te importeren en te verkopen”. De wortels van het bedrijf gaan terug tot 1784, naar een boekhandel van Ebenezer Battelle in Marlborough Street. Zij gaven werken uit van Benjamin Franklin en George Washington en waren gespecialiseerd in het juridisch uitgeven en importeren van titels. Jarenlang was het de meest uitgebreide juridische uitgeverij in de Verenigde Staten, en ook de grootste importeur van standaard Engels recht en diverse werken, waardoor Amerikaanse kopers kennis maakten met de Encyclopædia Britannica, de woordenboeken van William Smith, en vele andere standaardwerken. In de beginjaren publiceerde Little and Brown de werken van Daniel Webster, George Bancroft’s History of the United States, William H. Prescott’s Ferdinand and Isabella, Jones Very’s eerste dichtbundel (uitgegeven door Ralph Waldo Emerson), Letters of John Adams en werken van James Russell Lowell en Francis Parkman. Little, Brown and Company was de Amerikaanse uitgever van The Decline and Fall of the Roman Empire van Edward Gibbon.
Het bedrijf was de oorspronkelijke uitgever van United States Statutes at Large vanaf 1845, op grond van een bevoegdheid verleend door een gezamenlijke resolutie van het Congres. In 1874 droeg het Congres de bevoegdheid om de Statutes at Large uit te geven over aan de Government Printing Office, die sindsdien verantwoordelijk is voor de productie van de set. 1 U.S.C. § 113 erkent nog steeds dat hun uitgave van de wetten en verdragen van de Verenigde Staten een bevoegd bewijs zijn van de verschillende openbare en particuliere wetten van het Congres, verdragen en internationale overeenkomsten anders dan verdragen van de Verenigde Staten.
In 1853 begon Little, Brown met het uitgeven van de werken van Britse dichters van Chaucer tot Wordsworth. In vijf jaar tijd werden zesennegentig delen in de serie gepubliceerd.
In 1859 werd John Bartlett partner in het bedrijf. Hij behield de rechten op zijn Familiar Quotations, en Little, Brown publiceerde de 15e editie van het werk in 1980, 125 jaar na de eerste publicatie. John Murray Brown, de zoon van James Brown, nam het bedrijf over toen Augustus Flagg in 1884 met pensioen ging. In de jaren 1890 breidde Little, Brown zijn activiteiten uit met algemene publicaties, waaronder fictie. In 1896 werd Quo Vadis gepubliceerd. In 1898 kocht Little, Brown een lijst met titels van de firma Roberts Brothers. Tot de 19e eeuwse werknemers behoorde Charles Carroll Soule.