サンフランシスコ出身。父親はボヘミア地方からのユダヤ人移民。12歳でクラリネットを始め、後にサックスに転向。1946年、ジャズ・ピアニストのデイヴ・ブルーベックのバンドでデビュー。1956年にはジョー・モレロ(ドラム)が、1958年にはジーン・ライト(ベース)がデイヴのバンドに加入。1967年に至るまで、この4人で多くのアルバムを発表するが、特に『Time Out』(1959年)は、ポールが作曲した5拍子の楽曲「テイク・ファイヴ」が評判となった。更に1964年には、日本公演の印象を元に、日本の地誌や文化をテーマにしたアルバム『Jazz Impressions of Japan』を発表。
デイヴ・ブルーベック・カルテット脱退後、A&Mレコード内のサブ・レーベルCTIに移籍。全曲サイモン&ガーファンクルのカヴァーから成る『Bridge Over Troubled Water』(1969年)等の意欲作を発表。その後、A&Mのプロデューサーのクリード・テイラーがCTIレコードを独立させると、ポールも同社の専属となる。アルバム『Skylark』(1974年)は、「愛のロマンス」(映画『禁じられた遊び』テーマ曲)のジャズ・ヴァージョンを収録。また、チェット・ベイカーの復帰作『She Was Too Good To Me』(1975年)やジム・ホールのヒット作『Concierto』(1975年)に、サイドマンとして参加。