Selepas kepulangannya, Abdul Razak menyertai Perkhidmatan Awam Malaya dan bergiat dalam bidang politik. Disebabkan keupayaan politiknya, beliau dilantik menjadi ketua pemuda Pertubuhan Kebangsaan Melayu Bersatu UMNO. Dua tahun kemudian, Abdul Razak berkhidmat sebagai Penolong Setiausaha Negeri Pahang dan kemudian, pada Februari 1955, beliau menjadi Pemangku Ketua Menteri Pahang sewaktu berumur hanya 33 tahun.
Selepas memenangi pilihan raya umum yang pertama di Malaya pada Julai 1955, Abdul Razak dilantik sebagai
Menteri Pelajaran. Abdul Razak juga menyertai misi Februari
1956 yang diketuai oleh
Tunku Abdul Rahman ke London untuk menuntut kemerdekaan Malaya daripada pihak British.
Selepas pilihan raya umum 1959, Abdul Razak menjadi Menteri Pembangunan Luar Bandar di samping memegang portfolio Timbalan Perdana Menteri Malaysia Timbalan Perdana Menteri dan Kementerian Pertahanan Menteri Pertahanan. Pencapaian-pencapaiannya yang utama termasuk perumusan dasar pembangunan yang dikenali sebagai "Buku Merah".
Selepas Peristiwa 13 Mei 1969, puaknya di dalam UMNO menggulingkan Tunku Abdul Rahman serta mengisytiharkan Keadaan Darurat dan beliau memerintah melalui dekri sehingga 1970. Pada 22 September 1970, Abdul Razak mewarisi Tunku Abdul Rahman sebagai Perdana Menteri Malaysia yang kedua.
Abdul Razak termasyhur dalam pelancaran Dasar Ekonomi Baru (DEB) pada tahun 1971. Beliau dan "generasi kedua" ahli-ahli politik Melayu memperlihatkan keperluan untuk mengendalikan ketaksamaan ekonomi dan sosial yang telah membangkitkan antagonisme perkauman. DEB menetapkan dua sasaran yang asas, iaitu mengurangkan dan pada akhirnya:
- menghapuskan kemiskinan; dan
- menghapuskan pengenalpastian fungsi ekonomi dengan kaum.
Abdul Razak menubuhkan
Barisan Nasional pada 1 Januari 1973 sebagai gantian untuk Parti Perikatan. Beliau menambahkan ahli-ahli parti untuk mengasaskan apa yang dikatanya "Ketahanan Nasional" melalui kestabilan politik.
Disebabkan sebahagian oleh penyakit leukemia, Abdul Razak meninggal pada tahun 1976 sewaktu mendapat rawatan perubatan di London, dan disemadikan di Makam Pahlawan, berdekatan dengan Masjid Negara, Kuala Lumpur. Selepas kematiannya, beliau dianugerahkan dengan gelaran Bapa Pembangunan.