1981年の田岡三代目組長、翌1982年の山本健一若頭の相次ぐ急逝により、山口組は未曾有の跡目問題に直面します。この激動の時期、次期組長の有力候補として浮上したのが、姫路を拠点とする武闘派・竹中正久でした。中山勝正は早い段階から竹中を熱烈に支持し、その擁立に奔走しました。
しかし、古参幹部の山本広を推す派閥との対立は決定的なものとなり、1984年6月、山本らは山口組を離脱して「一和会」を結成。組を二分する分裂事態となりました。同年7月、竹中四代目体制が正式に発足すると、竹中組長は自らの右腕である若頭に中山勝正を大抜擢します。
当時40代半ばという若さでの若頭就任は、組内外に大きな驚きを与えました。中山は四代目山口組の最高実務責任者として組織の引き締めを図り、一和会に対する強力な包囲網を敷く一方、組員の暴発を抑えつつ合法的な組織防衛にも注力するなど、武闘派の枠に収まらない高い知略を発揮していました。