灌夫將軍是潁陰人。他父親叫張孟，曾做過潁陰侯灌嬰的家臣，因此就用灌家的姓更名為灌孟。吳、楚叛亂時，潁陰侯灌何擔任將軍，隸屬於太尉周亞夫，他向太尉推薦灌孟擔任校尉。灌夫帶領一千人與父親一起從軍。灌孟年紀大了，每逢作戰時，常常攻擊敵人的堅固陣地，終於戰死在吳軍中。按照當時軍法的規定，父子一起從軍參戰，有一個為國戰死，未死者可以護送靈柩回去。但灌夫不肯隨同父親的靈柩回去。他慷慨激昂地表示：“希望斬取吳王或者吳國將軍的頭，來替父親報仇。”於是灌夫身披鎧甲，手拿戈戟，召集了軍中素來與他有交情又願意跟他同去的勇士幾十個人。等到走出軍門，沒有人敢再前進。只有兩人和發配到他軍中服兵役的十多個囚徒騎兵飛奔衝入吳軍中，一直到達吳軍的將旗之下，殺死殺傷敵軍幾十人。灌夫身上十多處受重創。灌夫的創傷稍稍好轉，又向將軍請求說：“我現在更加了解吳軍營壘中路徑的曲折，請您讓我再回去。”將軍認為他勇敢而有義氣，恐怕灌夫戰死，便向太尉周亞夫報告，太尉便堅決阻止了他。等到吳軍被攻破，灌夫也因此名聞天下。 潁陰侯把灌夫的情況向皇上匯報了，皇上就任命灌夫擔任中郎將。過了幾個月，因為犯法被免職。後來到長安安了家，長安城中的許多顯貴沒有不稱讚他的。漢景帝時，灌夫官至代國國相。景帝去世，當今皇上武帝剛即位，認為淮陽是天下的交通樞紐，必須駐紮強大的兵力加以防守，因此調任灌夫擔任淮陽太守。 灌夫為人剛強爽直，好發酒瘋，不喜歡當面奉承人。對皇親國戚及有勢力的人，凡是地位在自己以上的，他不但不想對他們表示尊敬，反而要想辦法去冒犯他們；對地位在自己之下的許多士人，越是貧賤的，就更加恭敬，跟他們平等相待。士人們也因此而推重他。 灌夫在服喪期內去拜訪丞相田蚡，丞相隨便地說：“我想和你一起去拜訪魏其侯，恰值你現在服喪不便前往。”灌夫說：“您竟肯屈駕光臨魏其侯，我灌夫怎敢因為服喪而推辭呢！請允許我告訴魏其侯設置帷帳，備辦酒席，您明天早點光臨。”武安侯答應了。灌夫詳細地告訴了魏其侯，就像他對武安侯所說的那樣。魏其侯和他的夫人特地多買了肉和酒，連夜打掃房子，佈置帷帳，準備酒宴，一直忙到天亮。天剛亮，就讓府中管事的人在宅前伺候。等到中午，不見丞相到來。魏其侯對灌夫說：“丞相難道忘記了這件事？”灌夫很不高興，說：“我灌夫不嫌喪服在身而應他之約，他應該來。”於是便駕車，親自前往迎接丞相。丞相前一天只不過開玩笑似地答應了灌夫，實在沒有打算來赴宴的意思。等到灌夫來到門前，丞相還在睡覺。於是灌夫進門去見他，說：“將軍昨天幸蒙答應拜訪魏其侯，魏其侯夫婦備辦了酒食，從早晨到現在，沒敢吃一點東西。”武安侯裝作驚訝地道歉說：“我昨天喝醉了，忘記了跟您說的話。”便駕車前往，但又走得很慢，灌夫更加生氣。等到喝酒喝醉了，灌夫舞蹈了一番，舞畢邀請丞相，丞相竟不起身，灌夫在酒宴上用話諷刺他。魏其侯便扶灌夫離去，向丞相表示了歉意。