Роден е во Нов Зеланд. Неговиот татко Џејмс Ратерфорд бил фармер. По дипломирањето на Универзитетот во Нов Зеланд, добил стипендија за постдипломски студии во Лабораторијата Кевендиш (одделот за физика) на Универзитетот Кембриџ. Потоа, по препорака од Џ. Џ. Томсон, станал професор на Универзитетот Мегил во Монтреал, Канада. Во 1900 година се оженил со Мери Георгина Њутн, со која имал една ќерка. Во 1907 година, се вратил во Британија на одделот за физика на Универзитетот во Манчестер. Во 1925 година, добил Орден на заслуги и бил издигнат на ниво на благородници како Барон Ратерфорд од Нелсон, титула која изумрела по неговата ненадејна смрт.
Тој го открил концептот на радиоактивно распаѓање со што докажал дека радиоактивноста вкулучува трансмутација од еден во друг хемиски елемент, и ја дефинирал и именувал алфа и бета радијацијата. Во 1908 година, добил Нобелова награда за неговите истражувања за распаѓањето на елементите и хемијата на радиоактивните супстанци.
Својата најзначајна работа ја постигнал по добивањето на Нобеловата награда, кога во 1911 година открил дека полнежот на атомот (иако не можел да докаже дали е позитивен или негатив) е концентриран во многу мало јадро, притоа воведувајќи го Ратерфордовиот модел на атомот. Тој е заслужен и за првата „поделба на атомот“ во 1917 година, во една нуклеарна реакција помеѓу азот и алфа- честички, во која исто така го открил и именувал протонот. Под негово водство, Џејмс Чадвик го открил неутронот во 1932 година и во истата година неговите студенти Џон Кокрофт и Ернест Валтон го спровеле првиот експеримент за поделба на јадрото во целосно контролирана средина.
По неговата смрт во 1937 година бил почестен и закопан заедно со најголемите научници на Велика Британија, во близина на гробот на Сер Исак Њутн во Вестминистерската опатија.
