リトル・ブラウン・アンド・カンパニーのルーツは、書籍販売業である。 1837年、チャールズ・リトルとジェームズ・ブラウンによってボストンで設立されました。 彼らは「書籍の出版、輸入、販売を目的」にパートナーシップを結んだ。 それ以前のルーツをたどると、1784年にEbenezer BattelleがMarlborough Streetに所有していたブックショップに行き着く。 ベンジャミン・フランクリンやジョージ・ワシントンの作品を出版し、法律に基づいた出版やタイトルの輸入を専門に行っていた。 長年にわたり、アメリカで最も大規模な法律出版社であり、また、イギリスの標準的な法律書や雑学書の最大の輸入業者でもあり、Encyclopædia Britannica（エンサイクロペディア・ブリタニカ）、William Smith（ウィリアム・スミス）の辞書、その他多くの標準的な作品をアメリカのバイヤーに紹介した。 初期のLittle and Brown社は、Daniel WebsterのWorks、George BancroftのHistory of the United States、William H. PrescottのFerdinand and Isabella、Jones Veryの最初の詩集（Ralph Waldo Emerson編）、Letters of John Adams、James Russell LowellやFrancis Parkmanの作品などを出版していました。 また、エドワード・ギボンの『The Decline and Fall of the Roman Empire』をアメリカで出版したのもリトル・ブラウン・アンド・カンパニーでした。
同社は、1845年に連邦議会の共同決議によって与えられた権限のもと、United States Statutes at Largeの最初の出版社となりました。
同社は、1845年に米国議会の共同決議により「United States Statutes at Large」を発行したのが始まりです。
1853年、リトル・アンド・ブラウン社は、チョーサーからワーズワースまでの英国の詩人の作品の出版を開始しました。
1859年には、ジョン・バートレットがパートナーとなりました。
1859年にはジョン・バートレットがパートナーとなり、『Familiar Quotations』の権利を持ち、リトル・ブラウン社は初版から125年後の1980年に第15版を出版しました。 1884年にオーガスタス・フラッグが引退すると、ジェームズ・ブラウンの息子であるジョン・マレー・ブラウンが後を継いだ。 1890年代に入ると、リトル・ブラウン社は小説を含む一般出版に進出した。 1896年には「Quo Vadis」を出版した。 1898年、リトル・ブラウン社はロバーツ・ブラザーズ社からタイトルのリストを購入した。 19世紀の従業員には、チャールズ・キャロル・スールなどがいた
。