1947年6月，彼得·威勒出生在威斯康辛的斯蒂文斯点，他的父亲是一名军队直升机驾驶员，彼得是家里最小的男孩子。跟着在世界各地执行任务的父亲，他去过很多地方，在德国的海德堡和美国的德克萨斯上的高中。中学毕业后，由于希望加入北德克萨斯州立大学著名的爵士乐队，他考入了该所大学。彼得·威勒出身音乐世家，母亲祖上三代都弹奏钢琴，而爵士乐也是他本人的最爱。从美国戏剧艺术学院获得戏剧学士学位和奖学金后，他离开德克萨斯前往纽约。两周后他就得到了在百老汇剧《Sticks and Bones》中扮演David一角的机会，他还在百老汇和外百老汇演出过《Summer Brave》、《Rebel Women》和《Full Circle》等剧目。但他真正成名是从《Streamers》一剧开始，在这部由迈克·尼科尔斯（Mike Nichols）导演的剧中扮演Billie Wilson，该剧后来曾在林肯中心上演。在《The Woolgatherer》和《The Woods》两部戏剧中，他继续延续着他的成功故事。彼得出演的的第一部电影是理查德·莱斯特（Richard Lester）在1979年导演的《虎豹小霸王前集》（Butch and Sundance: The Early Days）。1980年他又和阿伦·金（Alan King）以及艾丽·麦古奥（Ali MacGraw） 一起联袂主演了西德尼·鲁迈（Sidney Lumet）导演的《勇夺芳心》（Just Tell Me What You Want）。1982年他与阿尔伯特·芬尼（Albert Finney）、黛安·基顿（Diane Keaton）一起出演阿伦·帕克（Alan Parker）执导的《月落妇人心》（Shoot the Moon）。他出演过的其他电影有《初生》（Firstborn）、HBO的电视电影《Apology》和《人鼠大战》（Of Unknown Origin）。在《人鼠大战》，彼得扮演了饱受鼠患的单身汉一角，他出色的表演为他赢得了了巴黎国际电影节最佳男演员奖。1987年出演保罗·范霍文执导的科幻电影《机械战警》（又名铁甲威龙），之后又出演2部续集。