Di usia 20 tahunan Babbage bekerja sebagai seorang ahli matematika terutama dibidang fungsi kalkulus. Tahun 1816, dia terpilih sebagai anggota “Royal Society” (organisasi sains dan akademis independen Inggris Raya, masih aktif hingga kini) dan memainkan peran penting di yayasan “Astronomical Society” (organisasi Astronomi dan geofisika Inggris raya, masih aktif hingga kini) pada tahun 1820. Pada masa ini Babbage mulai tertarik pada mesin hitung, yang berlanjut hingga akhir hayatnya.
Tahun 1821 Babbage menciptakan Difference Engine, sebuah mesin yang dapat menyusun Tabel Matematika. Saat melengkapi mesin tersebut di tahun 1832, Babbage mendapatkan ide tentang mesin yang lebih baik, yang akan mampu menyelesaikan tidak hanya satu jenis namun berbagai jenis operasi aritmatika. Mesin ini dinamakan Analytical Engine (1856), yang dimaksudkan sebagai mesin pemanipulasi simbol umum, serta mempunyai beberapa karakteristik dari komputer modern. Diantaranya adalah penggunaan punched card, sebuah unit memori untuk memasukkan angka, dan berbagai elemen dasar komputer lainnya.
Namun sayang, hanya sedikit sisa peninggalan dari prototipe mesin Difference Engine, dikarenakan kebutuhan mesin tersebut melebihi teknologi yang tersedia pada zaman itu. Dan walaupun pekerjaan Babbage dihargai oleh berbagai institusi sains, Pemerintah Inggris menghentikan sementara pendanaan untuk Difference Engine pada tahun 1832, dan akhirnya dihentikan seluruhnya tahun 1842. Demikian pula dengan Difference Engine yang hanya terwujudkan dalam rencana dan desain. Tahun 1828 sampai 1839, Babbage medapat gelar the Lucasian chair of mathematics (gelar professor matematika paling bergengsi di dunia) dari Universitas Cambridge. Selain mesin hitung, Babbage juga memberikan berbagai kontribusi lain. Diantaranya menciptakan sistem pos modern di Inggris, menyusun table asuransi pertama yang dapat diandalkan, menemukan locomotive cowcather (struktur berbentuk segitiga di bagian depan kereta api, yang mampu membersihkan rel dari gangguan) dan beberapa lainnya.