Little, Brown and Company hatte seine Wurzeln im Buchhandel. Sie wurde 1837 in Boston von Charles Little und James Brown gegründet. Sie bildeten die Partnerschaft „zum Zweck des Verlegens, Importierens und Verkaufens von Büchern“. Die Wurzeln des Verlags reichen bis in das Jahr 1784 zurück, als Ebenezer Battelle in der Marlborough Street eine Buchhandlung betrieb. Sie verlegten Werke von Benjamin Franklin und George Washington und waren auf juristische Verlage und den Import von Titeln spezialisiert. Für viele Jahre war es der umfangreichste Rechtsverlag in den Vereinigten Staaten und auch der größte Importeur von englischen Standardwerken für Recht und Sonstiges, der die amerikanischen Käufer mit der Encyclopædia Britannica, den Wörterbüchern von William Smith und vielen anderen Standardwerken bekannt machte. In den ersten Jahren verlegte Little and Brown die Werke von Daniel Webster, George Bancrofts History of the United States, William H. Prescotts Ferdinand und Isabella, den ersten Gedichtband von Jones Very (herausgegeben von Ralph Waldo Emerson), Briefe von John Adams und Werke von James Russell Lowell und Francis Parkman. Little, Brown and Company war der amerikanische Verleger von Edward Gibbons The Decline and Fall of the Roman Empire.
Die Firma war der ursprüngliche Verleger der United States Statutes at Large ab 1845, unter der Autorität, die durch eine gemeinsame Resolution des Kongresses gewährt wurde. Im Jahr 1874 übertrug der Kongress die Befugnis zur Veröffentlichung der Statutes at Large an die Regierungsdruckerei, die seither für die Produktion der Reihe verantwortlich ist. 1 U.S.C. § 113 erkennt immer noch an, dass ihre Ausgabe der Gesetze und Verträge der Vereinigten Staaten kompetente Beweise für die verschiedenen öffentlichen und privaten Gesetze des Kongresses, Verträge und internationale Vereinbarungen sind, die nicht zu den Verträgen der Vereinigten Staaten gehören.
Im Jahr 1853 begann Little, Brown mit der Veröffentlichung der Werke britischer Dichter von Chaucer bis Wordsworth. Innerhalb von fünf Jahren wurden sechsundneunzig Bände in der Reihe veröffentlicht.
Im Jahr 1859 wurde John Bartlett Partner in der Firma. Er hielt die Rechte an seinen Familiar Quotations, und Little, Brown veröffentlichte 1980, 125 Jahre nach der Erstveröffentlichung, die 15. Auflage des Werks. John Murray Brown, der Sohn von James Brown, übernahm den Verlag, als Augustus Flagg 1884 in den Ruhestand ging. In den 1890er Jahren expandierte Little, Brown in das allgemeine Verlagswesen, einschließlich der Belletristik. Im Jahr 1896 veröffentlichte der Verlag Quo Vadis. Im Jahr 1898 kaufte Little, Brown eine Liste von Titeln der Firma Roberts Brothers. Zu den Mitarbeitern des 19. Jahrhunderts gehörte Charles Carroll Soule.