皮特·西格出生在紐約曼哈頓的中城。他的父親查爾斯·路易斯·西格(Charles Louis Seeger)是一位音樂者。他的母親是一位古典小提琴演奏家和教師。皮特·西格7歲的時候,他的父母離婚,他的繼母露絲(Ruth Crawford Seeger)是一位出色的作曲家。他的長兄查爾斯·西格(Charles Seeger III)是一位無線電天文學家,他的二哥約翰·西格(John Seeger)執教於道爾頓學校。皮特的叔叔阿蘭·西格(Alan Seeger)是一位詩人,在一戰中陣亡。他同母異父的妹妹,佩吉·西格(Peggy Seeger)也是一位著名的民歌表演者,她嫁給了Ewan MacColl,此人被譽為英國民歌之父。皮特的同父異母弟弟邁克·西格是新失落城漫遊者樂隊(New Lost City Ramblers,該樂隊在民歌復興時期曾經名噪一時,錄製了許多民歌音樂)的創始人,樂隊的成員之一約翰·科恩(John Cohen)與皮特的另一個同父異母妹妹佩妮·西格結婚。