新選組結成期における主要メンバーでありながら、平山五郎の経歴には未解明の出自が多く残されています。通説では常陸国（茨城県）の出身で、水戸藩の郷士もしくは浪士階層の出と伝えられます。生年は文政年間の生まれと推測されますが、確定的な戸籍史料は見つかっていません。
彼の最大の特徴は、若き日の事故あるいは刃傷沙汰によって左目を失った隻眼の風貌でした。しかし片目でありながら剣の腕前は抜群で、神道無念流免許皆伝とも伝えられる実力者でした。短気で豪放磊落な性格で知られ、芹沢鴨や平間重助、野口健司らとともに水戸天狗党の思想的影響を受けつつ、尊皇攘夷の志を抱いて京都へ上洛しました。
文久3年（1863年）初頭、清河八郎の呼びかけに応じた浪士組に参加した平山は、清河の真意が尊皇攘夷の先鋭化にあると知るや、芹沢鴨や近藤勇らとともに京都残留を決意。これが後の壬生浪士組（新選組の前身）誕生へとつながります。
