水的提升对于人类生活和生产都十分重要。古代就已有各种提水器具，例如埃及的链泵(公元前17世纪)，中国的桔槔(公元前17世纪)、辘轳(公元前11世纪)和水车(公元1世纪)。比较有名的还有公元前三世纪，阿基米德发明的螺旋杆，可以平稳连续地将水提到几米高处，其原理仍为现代螺杆泵所利用。
公元前200年左右，古希腊工匠克特西比乌斯发明的灭火泵是一种原始的活塞泵，已具备典型活塞泵的主要元件，但活塞泵只是在出现了蒸汽机之后才得到迅速发展。
1840-1850年，美国沃辛顿发明泵缸和蒸汽缸对置的，蒸汽直接作用的活塞泵，标志着现代活塞泵的形成。1851-1875年，带有导叶的多级离心泵相继发明，使发展高扬程离心泵成为可能。
19世纪是活塞泵发展的高潮时期，当时已用于水压机等多种机械中。然而随着需水量的剧增，从20世纪20年代起，低速的、流量受到很大限制的活塞泵逐渐被高速的离心泵和回转泵所代替。但是在高压小流量领域往复泵仍占有主要地位，尤其是隔膜泵、柱塞泵优点，应用日益增多。
