水是人類賴以生存的條件，水在人類的生產和生活中起到了重大的作用。在古代早就已有各種提水的工具，例如中國的桔槔(公元前17世紀)、埃及的鏈泵(公元前17世紀)、轆轤(公元前11世紀)和水車(公元1世紀)。
比較著名的有公元前三世紀，阿基米德發明的螺旋桿，它可以平穩連續地將水提升至幾米高處，其工作原理仍為現代螺桿泵所利用。
公元前200年左右，古希臘工匠克特西比烏斯發明的滅火泵是一種最原始的活塞泵，已具備典型活塞泵的主要元件，但活塞泵是在出現了蒸汽機之后才得到迅速發展。
1840～1850年，美國沃辛頓發明泵缸和蒸汽缸對置的，蒸汽直接作用的活塞泵，標志著現代活塞泵的形成。19世紀是活塞泵發展的高潮時期，當時已用于水壓機等多種機械中。然而隨著需水量的增加，從20世紀20年代起，低速的、流量受到很大限制的活塞泵逐漸被高速的離心泵和回轉泵所代替。但是在高壓小流量領域往復泵仍占據有主要地位，尤其是隔膜泵、柱塞泵獨具特色，在應用上日益增多。
回轉泵的出現與工業上對液體輸送要求日益多樣化有關。早在1588年就有了關于四葉片滑片泵的記載，而后又陸續出現了其他各種回轉泵，但直到19世紀回轉泵仍存在泄漏大、磨損大和效率低等缺點。20世紀初，人們解決了轉子潤滑和密封等問題，并采用高速電動機驅動，能夠承受較高壓力、中小流量和各種粘性液體的回轉泵才得到迅速發展。回轉泵的類型和適宜輸送的液體種類之多是其他各類泵所不及的。
列奧納多·達芬奇所作的草圖中最早出現了利用離心力輸水的想法。1689年，法國物理學家帕潘發明了四葉片葉輪的蝸殼離心泵。1818年在美國出現的具有徑向直葉片、半開式雙吸葉輪和蝸殼的所謂馬薩諸塞泵更接近于現代離心泵。1851～1875年，帶有導葉的多級離心泵相繼被發明，使得發展高揚程離心泵成為可能。
而早在1754年，瑞士數學家歐拉就提出了葉輪式水力機械的基本方程式，這就奠定了離心泵設計的理論基礎，不過一直到19世紀末，高速電動機的誕生才使得離心泵獲得理想動力源之后，才使的它的優越性得以充分發揮。在英國的雷諾和德國的普夫萊德雷爾等許多學者的理論研究和實踐的基礎上，離心泵的效率大大提高，它的性能范圍和使用領域也日益擴大，并且已經成為現代應用最廣、產量最大的泵。
