Ali bin Maksum bin Ahmad dilahirkan di Lasem Rembang Jawa Tengah pada tanggal 2 Maret 1915. Ayahnya, Maksum adalah pendiri Pondok Pesantren Al-hidayah Lasem Rembang. Nama aslinya hanyalah Ali. Sedangkan Nama Ali Mak...sum adalah gabungan dari nama ayahnya.
Ali Maksum dikenal sebagai gurunya para intelektual Muslim. Di antara para intelektual Muslim yang pernah berguru kepadanya adalah, KH Abdurrahman Wahid, KH Chalil Bisri, KH Masdar Farid Mas’udi, KH Ahmad Musthofa Bisri, dan sebagainya.
Menurut Gus Mus, panggilan akrab KH Ahmad Musthofa Bisri, KH Ali Maksum dan ayahnya KH Bisri Mustofa adalah guru yang paling banyak mempengaruhi perjalanan hidupnya. Kedua kiai itu memberikan kebebasan kepada para santri untuk mengembangkan bakat seni.
Semasa kecil Ali Maksum dibimbing langsung oleh ayahnya. Sejak usia dini, ia sudah akrab dengan dunia pesantren dan kitab kuning. Pertama kali, Ali Maksum diajari mengaji Alquran oleh ayahnya. Setelah lancar, Ali Maksum dikirim ayahnya untuk belajar di Pondok Pesantren Termas Pacitan di bawah asuhan KH Dimyati. Sejak di Termas inilah, Ali Maksum terlihat menonjol dan akhirnya ikut membantu gurunya mengajar dan mengurus pesantren dan membuat karangan tulisan.
Ali Maksum dikenal cerdas dan tekun. Ia akhirnya ditunjuk menjadi kepala madrasah di Pondok Pesantren Termas Pacitan. Selama delapan tahun di Termas, Ali Maksum mempelajari dan menguasai berbagai cabang ilmu agama.
Setelah dewasa, Ali Maksum menikah dengan Hasyimah, putri KH M Munawwir al-Hafidh al-Muqri Krapyak Yogyakarta. Tidak lama setelah menikah, dengan dibantu oleh seorang saudagar Kauman Yogyakarta Ali Maksum berhaji ke Mekah. Kesempatan ini beliau gunakan pula untuk belajar ilmu agama kepada para ulama Mekah.
Di Mekah, Ali Maksum belajar agama kepada Sayyid Alwi al-Maliki al-Hasani, Syaikh Masyayikh Hamid Mannan, Syaikh Umar Hamdan, dan lain-lain. Ketekunan dan kecerdasannya, akhirnya mengantarkan dirinya menjadi ulama yang fasih berbahasa Arab.
Setelah dua tahun mengaji di Mekah, Ali Maksum kembali ke tanah Jawa pada masa pemerintahan Jepang tahun 1942. Ketika itu pesantren ayahnya di Lasem nyaris bubar. Sedianya beliau hendak tinggal di Lasem membantu ayahnya mengembangkan pesantren. Namun, sepeninggal KH Munawwir Krapyak, pondok Krapyak membutuhkan dirinya untuk melanjutkan perjuangan di bidang pendidikan. Bersama-sama dengan KH R Abdullah Affandi Munawwir dan KH R Abdul Qadir Munawwir, ia menghabiskan umur dan segenap daya upaya untuk merawat dan mengembangkan pondok Krapyak. Dari pondok Krapyak inilah cikal bakal pesantren Alquran di Indonesia.
Pesantren yang diasuhnya semakin mengalami perkembangan. Dalam bidang pendidikan pesantren, Ali Maksum merintis pola semi modern dengan sistem klasikal hingga berkembanglah madrasah-madrasah hingga saat ini. Dari kesabaran dalam berjuang pondok Krapyak yang diasuhnya telah berdiri dan berkembang Taman Kanak-Kanak, Madrasah Diniyyah, Madrasah Tsanawiyyah, Madrasah Aliyah, Madrasah Tahfidzil Quran dan Madrasah Takhassusiyah untuk para santri mahasiswa. Di samping itu kemajuan telah dicapainya dalam bentuk pembangunan sarana dan prasarana fisik.
Selain mengasuh pesantren, Ali Maksum juga diminta untuk menjadi dosen luar biasa pada Institut Agama Islam Negeri (sekarang UIN) Sunan Kalijaga Yogyakarta. Di bidang kemasyarakatan dan politik, Ali Maksum pernah menjadi anggota majlis Konstituante, sebuah lembaga pembuat Undang-Undang Dasar pada masa rezim Orde Lama.
Dalam organisasi Nahdlatul Ulama, Ali Maksum pernah memangku jabatan sebagai Rais ‘Am Syuriyyah yang mengantarkan Jam’iyyah Nahdlatul Ulama keluar dari jalur politik pada masa rejim Orde Baru. Sejak tahun 1970, Ali Maksum telah memangku jabatan Rais Syuriah Pengurus wilayah NU Yogyakarta. Ia terpilih sebagai Rais ‘Am Syuriah Pengurus Pusat Nahdhatul ‘Ulama dalam musyawarah alim ulama NU di Kaliurang Yogyakarta pada tahun 1981.
Pada tahun 1984, pada muktamar ke-27 di Sitobondo, Ali Maksum terpilih sebagai penasihat dan muktasyar PBNU sampai wafatnya. Di sela-sela mengasuh ribuan santrinya, Ali Maksum masih saja menyempatkan diri untuk memberikan pengajian di masyarakat. Ali Maksum telah menulis beberapa kitab, di antaranya; Hujjah Ahlus Sunnah wal Jama’ah (Argumentasi Ahlussunnah wal jama’ah), Tasriful Kalimah fis Shorf (Tasrif Kalimah dalam Shorof), Mizan al-’Uqul fi ‘Ilmil Manthiqi (Morfologi Arab yang Jelas), Ilmu Mantiq dan beberapa kitab berbahasa Arab lainnya.
Dari Pondok Krapyak yang dipimpinnya itu telah dilahirkan ratusan kyai dari ribuan santri yang mengaji pada beliau pada kurun 1946 hingga 1989. Pondok Krapyak, beberapa hari sebelum dirinya meninggal, menjadi tempat penyelenggara Muktamar Jam’iyyah Nahdlatul Ulama, pertemuan paling bergengsi organisasi para ulama Indonesia.
KH Ali Maksum wafat pada tangga 7 Desember 1989. Dimakamkan di Dongkelan Bantul Yogyakarta. Sekarang, pengelolaan Pondok Pesantren ditangani oleh lembaga berbadan hukum dengan nama Yayasan Ali Maksum Pondok Pesantren Krapyak Yogyakarta dipimpin oleh KH Attabik Ali, putra pertama dari KH Ali Maksum.