Родился в Тобольске. Музыкой начал заниматься под руководством отца, скрипача Якова Ивановича Афанасьева, вместе с братом Александром Яковлевичем (1827 — после 1871 г.). Стал также известным в столице виолончелистом и пианистом, участвовавшим в концертах брата.
В детские годы братьев семья Афанасьевых несколько лет проживала в г. Перми, а затем некоторое время в г. Кунгуре и др. городах Урала.
Н. Я. Афанасьев работал в оркестре Большого театра (1838–1841 гг.), крепостном театре помещика И. И. Шепелева в с. Выксе (Владимирская губ.; ныне находится в Нижегородской обл.), Петербургской итальянской опере (1851–1858 гг.), преподавал в Смольном институте (1853–1883 гг.; класс фортепиано). С 1846 г. много концертировал (в 1857 г. — в Западной Европе).
Н. Я. Афанасьев — представитель романтической школы. Его 12 струнных квартетов («Волга» (1860 г.) и др.), 4 квинтета — ценные образцы русской камерной музыки в период, предшествовавший камерным сочинениям А. П. Бородина, П. И. Чайковского. В своём творчестве широко использовал фольклорный материал, в том числе восточный и западноевропейский. Автор 4-х опер, 6 симфоний, 9 скрипичных концертов, хоровых произведений, романсов, фортепианных и др. произведений. Популярной была его кантата «Пир Петра Великого» (1860 г.). Рукописи хранятся в библиотеке Санкт-Петербургской консерватории.