Родился в Тобольске в семье губернатора. Получил превосходное и разностороннее домашнее образование. С самых ранних он лет приобщился к музыке, играя на фортепиано и скрипке, посещая спектакли местного оперного театра и концерты. Затем продолжил музыкальное обучение в Москве у известного тогда композитора И. Я. Миллера, а вскоре у европейски знаменитого пианиста и композитора Дж.Филда.
В возрасте 25 лет в 1812 году поступил корнетом в Третий украинский казачий в полк, участвовал в боях с французами, где проявил отвагу. В 1813 году перешел в гусарский полк, подружился с поэтом-партизаном Денисом Давыдовым и участвовал в его отряде.
После войны, выйдя в отставку в чине подполковника, поселился в Петербурге, где сблизился с кружком литературных и театральных деятелей (А.С.Грибоедов, А. А. Бестужев, А. Н. Верстовский, А. А. Шаховской и др.).
С 1823 года А. А. Алябьев поселился в Москве, где принимал деятельное участие в театральной жизни. Вместе с А. Н. Верстовским и Ф. Е. Шольцем написал музыку пролога «Торжество муз» к открытию Большого театра (6.01.1825), создал музыку к ряду водевилей, выступал в любительских концертах.
В начале 1825 года Алябьев был арестован по ложному обвинению в убийстве и, несмотря на недосказанность, приговорен к ссылке в Сибирь с лишением всех прав и дворянского звания. В 1828 году, после трехлетнего заключения в крепости, он был отправлен в Тобольск. Здесь организовал симфонический оркестр «казачьей музыки», руководил симфоническими и хоровыми концертами, выступал как дирижер и пианист.
В начале 30-х годов жил на Кавказе, в Оренбурге и Московской области. Лишь в 1843 году Алябьев получил разрешение проживать в Москве под надзором полиции. Здесь он вновь вошел в театральную среду, написал музыку к драматическим спектаклям. В 1847 году он подружился с А. С. Даргомыжским. Тяжело больной, композитор до конца жизни не оставлял творческой работы. К числу его последних произведений относятся песни на слова Н. П. Огарева.
Умер 22 февраля 1851 года в Москве.