Абай Құнанбайұлы ауыр күйзеліске ұшыраған жүрек-қан тамырлары жетіспеушілігінен қайтыс болды. Ол 1904 жылы 22 және 21 жасында қайтыс болған екі ұлы Ақылбай мен Мағауиядан аман қалды. Абайдың ең сүйікті ұлы Мағауияның өлімі оған ерекше ауыр соққы болды. Ол жеңіліске байыппен қарап, бірте-бірте жоғала бастады.
Сонымен қатар, Абай туберкулез, ревматизм сияқты басқа да бірқатар аурулармен ауырған. Бұл аурулар да оның денесін әлсіретіп, жүрек-қан тамырлары жеткіліксіздігінің дамуына ықпал етті.
Абай Құнанбайұлы 1904 жылы 6 шілдеде 58 жасында қайтыс болды. Қызылжар ауданында, Шыңғыстау ауылының маңында жерленген.
Абай Құнанбайұлының қайтыс болуы қазақ халқы үшін үлкен қайғыға айналды. Ол ұлы ақын, ойшыл ғана емес, қазақ халқының тұрмысын жақсарту жолында күрескен көрнекті қоғам қайраткері болды. Оның шығармашылығы қазақ мәдениеті мен әдебиетінің дамуына орасан зор ықпал етті.