Родился (15) 27 декабря 1832 года в Москве, в купеческой семье. Читать и писать научился дома, когда подрос, стал помогать отцу в торговле. На его счету — создание бумагопрядильных фабрик, которые он открыл с братом.
В качестве хобби Третьяков начал коллекционировать картины. Первые его приобретения были сделаны в 1856 году: «Искушение» Н.Г. Шильдера и «Стычка с финляндскими контрабандистами» В.Г. Худякова, затем в ней появились работы А.К. Саврасова, Ф.А. Бруни, М.П. Клодта, В.Г. Перова.
Меценат скупал не только готовые произведения искусства, но и заказывал их художникам. Например, по его заказу художник Бронников написал картину «Гимн пифагорейцев восходящему солнцу», а Василий Перов — несколько портретов.
Особенно неравнодушен Третьяков был к творчеству Перова, его картины он пприобретал активнее всего. В 1860-м купил «Сельский крестный ход на Пасхе», «Тройка» и «Дилетант».
Коллекция быстро разрасталась, и скоро для нее потребовалось отдельное помещение. Здание Третьяков построил в 1874 году, и уже через семь лет галерея стала открытой для публики. А вскоре Третьяков передал всю коллекцию и здание Московской городской думе. Меценат был пожизненным попечителем галереи, вплоть до своей смерти (1898 год).
Павел Михайлович носил титул коммерции советника, был членом Московского отделения Совета торговли и мануфактур, действительным членом Петербургской Академии художеств (с 1893 года).