1956—1960年，担任苏共中央宣传鼓动部处长；1960—1965年，担任苏联最高苏维埃主席团秘书处主任。

1965年7月—1976年3月，担任苏共中央总务部部长，主管党中央领导人的内务、行政、文书和安全等工作。

1966年8月起，连续当选为第七至十一届苏联最高苏维埃代表，并任苏联最高苏维埃联盟院资格审查委员会委员。

1971年4月，在苏共二十四大上当选为苏共中央委员；1976年3月，在苏共中央全会上当选为中央书记并兼任苏共中央总务部部长。

1977年10月，当选为苏共中央政治局候补委员。

1978年11月，当选为苏共中央政治局委员、苏共中央书记处书记。

1984年2月13日，在苏共中央非常全会上当选为苏共中央总书记、苏联国防会议主席。

1985年3月10日，因病逝世，享年73岁。

契尔年科虽然未能改善苏联国内外面临的困境，但保持了苏联政局的稳定。在他执政期间强调政策的继承性和在意识形态工作、组织工作和经济工作方面要始终如一地遵循列宁主义的原则。契尔年科极为重视青少年的思想教育，大力呼吁要杜绝资产阶级文化的渗入，主张对中小学的教育进行改革。他认为，意识形态工作是苏联全党的事业，把改善意识形态工作和政治教育工作提高到“适应党在完善发达社会主义过程中正在完成的那些重大复杂的任务的水平”，必须时刻警惕敌对意识形态的侵袭。

在担任苏联最高领导人期间，契尔年科继续进行扩大企业自主权的试验，但在其他方面没有进行改革。在理论上，他继承了安德罗波夫关于社会主义发达阶段的“起点论”，认为“苏联目前正处在社会主义建设新阶段——完善发达社会主义社会的开端”，发达社会主义阶段具有长期性，需要经过几代人的努力才能完成。他把完善发达社会主义作为党的基本方针，使生产力发生深刻质变并相应地改善生产关系，大幅度提高劳动生产率，加强劳动纪律和社会纪律，进一步发挥群众的劳动积极性和主动性。他要求经济干部要表现出更大的自主性，大胆地进行探索。他强调要加速科学技术进步，将科学技术成就运用到生产中。

契尔年科执政期间，认为国际形势的特点是战争危险急剧增强，社会主义和帝国主义以及双方的政治方针和针锋相对的世界观的对抗空前紧张。因此对美国的态度比较强硬，尤其是美国在西欧部署中程导弹后，直到1984年12月份，他在会见美国企业家哈默时才表示美苏两国应建立良好关系。在同东欧国家关系方面，他强调要全力发展和加强团结合作，而东欧国家无论是国内建设还是对外关系方面，如有一些独立自主的做法都会被当作越轨行为，而遭到指责。在中苏关系方面，虽然他强调同中国发展友好关系的重要性，但由于苏联在阿富汗和柬埔寨问题上的立场，在其执政期间两国关系没有出现更积极的进展。

契尔年科于1976年和1981年两次获得劳动红旗勋章，1984年获得社会主义劳动英雄称号，1981年获得保加利亚的格奥尔基·季米特洛夫勋章，1982年其著作《苏联的人权》获得列宁奖。

契尔年科主要作品为《苏联的人权》（Human Rights in Soviet Society）和《契尔年科言论选集》。

契尔年科是一位与现存的党和国家权力制度血肉相融的人物。（俄罗斯作家瓦·博尔金评）

契尔年科的当选表明：僵化的政治体制已经越来越不适应苏联的社会新形势了；契尔年科是个老好人，但在一个一人独揽大权、实际上是拥有最后决定权的国家，如果“老好人”是第一把手的话，绝不是什么好兆头；登上大国政治权力的顶峰对契尔年科来说只是个人的胜利，是当时具体形势使这个几乎无法实现的愿望得以实现了。（复旦大学副教授薛小荣评）

1983年10月底，上台仅10个月的安德罗波夫病情急剧恶化，摘去了一只肾，已无法主持党中央的工作。对安德罗波夫来说，他理想中的继承人是年轻的戈尔巴乔夫。为此，安德罗波夫不得不采取措施，防止他去世后苏联大权“顺其自然”地落在契尔年科的手中，所以当他的助理沃利斯基去医院看望他时，他把修改好的准备在全会上发言的委托戈尔巴乔夫在其患病期间主持中央政治局和书记处工作的提纲交还给沃利斯基，特别吩咐：“这个文件很好，你必须保证重视我加写的附录。”

沃利斯基非常慎重地对待这份文件，他回去后，复印一份，把复印件放进保险箱，而将原件按顺序交给了苏共中央总务部长。但当全会开会时，分发给中央委员的提纲中却没有安德罗波夫所强调的那段附录，沃利斯基认为可能是在什么环节上出了差错，就去找契尔年科。契尔年科冷冰冰地打断了他的询问，说：“不要为什么附录而想入非非。”随即契尔年科的助理又把沃利斯基拉到一旁悄声说：“你认为你是一个明智的人吗？你还想要你的命吗？”沃利斯基感到责任重大，想给医院里的安德罗波夫打个电话，契尔年科的助理威胁说：“这将是你打的最后一个电话！”沃利斯基这才作罢。全会过后，安德罗波夫打电话严厉斥责了沃利斯基，但他已控制不了局势的发展。安德罗波夫去世后，契尔年科顺理成章地当上了党的总书记。