「せむし」という言葉は、漢字では「背虫」あるいは「傴僂」と表記されます。その語源には諸説あり、背中に虫が入って盛り上がったように見える様子から名付けられたという説や、「背中がむく」という状態を表した古語が転じたという説などが存在します。
この状態を医学的な正式名称で表すと、主に「脊柱後弯症(せきちゅうこうわんしょう)」や「脊柱側弯症(せきちゅうそくわんしょう)」、「亀背(きはい)」などに該当します。かつて医療や栄養状態が不十分だった時代、結核性脊椎炎(脊椎カリエス)やくる病、骨軟化症などの後遺症として背骨が大きく変形することが珍しくありませんでした。
原因疾患の解明が進んでいなかった時代には、外見の特徴だけを捉えて「せむし」と呼び、怪異なものや不気味なものとして見世物小屋で扱ったり、からかいの対象にしたりする身体障害差別の歴史が長く続きました。言葉そのものに疾患への無理解と侮蔑のニュアンスが深く染み付いていったことが、現代における差別の根源となっています。