山口組の祖である山口春吉は、1881年（明治14年）、兵庫県津名郡仮屋浦（現・淡路市）の農家に生まれました。明治後期の淡路島は第一次産業が主であり、次男や三男などの若者は職を求めて阪神間の工業地帯や港湾地域へと出稼ぎに出るケースが一般的でした。春吉もまた、富国強兵と海運貿易で沸く神戸の街へ職を求めて海を渡ります。
当時の神戸港は、日清・日露戦争を経て国際貿易港として急速に発展していました。しかし、大型船が接岸できる岸壁設備は未整備で、沖合に停泊した船と艀（はしけ）の間で荷役作業を行う沖仲仕と呼ばれる港湾労働者が不可欠でした。この沖仲仕は、命綱なしの荷役や危険物積載など極めて過酷な環境であり、全国から集まる気性の荒い男たちを束ねる強力な現場監督（小頭）が求められていた背景があります。
春吉は小柄ながら並外れた腕力と度胸を備えており、現場の荒くれ者たちを統率する才覚に長けていました。当時の神戸港で港湾荷役の利権を握っていた博徒系組織「大嶋組」の組長・大嶋秀吉（富三郎）の目に留まり、春吉は大嶋組の門下に入って頭角を現していきます。
