Милль и Гарриет Тейлор познакомились в 1830 году. Она была замужем. Дружба их продолжалась двадцать лет открыто и вызывала пересуды. Поженились они в 1851 году, через два года после смерти её первого мужа.
Об участии Гарриет в работе Милль писал сам и писал настойчиво.
В «Автобиографии» он утверждает, что книга «О свободе» была совместным трудом более, чем что-либо другое из написанного им: они перебирали её вместе, обдумывали каждую мысль и переписывали фразы по нескольку раз.
Спор о том, насколько это буквально, идёт с XIX века. Одни исследователи считают преувеличением, объяснимым горем и любовью. Другие указывают, что Гарриет писала сама и что её статья о браке и разводе сохранилась.
Она умерла в ноябре 1858 года в Авиньоне, от лёгочного кровотечения, по дороге на юг.
Милль купил дом у кладбища и прожил там значительную часть остатка жизни. Книга вышла в феврале 1859 года.
Посвящение он поставил на первой странице. Дорогой и оплаканной памяти той, кто была вдохновительницей и отчасти автором всего лучшего в моих сочинениях, — и добавил, что не станет исправлять текст, потому что не имел возможности пройти по нему вместе с ней.
Содержание книги держится на одном правиле, которое он называет очень простым. Единственная цель, ради которой власть может быть законно применена к члену общества против его воли, — предотвращение вреда другим. Собственное благо человека, физическое или нравственное, достаточным основанием не является.
Похоронен Милль в Авиньоне, в той же могиле. «О свободе» он больше не правил ни разу, хотя прожил после её выхода четырнадцать лет и переиздавал прочие свои книги постоянно.