牢を出たばかりの座頭市は、漁師・儀肋の家にやっかいになった。その小さな漁村では五右衛門一家が賭場を開き、市もつきに任せて遊んでいた。跡目を継いだばかりの若き五右衛門は宿場一体を仕切るために八州取締役に取り入ろうとしていた。大勝ちした市を撫然とした五右衛門一家が取り囲むが、女親分のおはんが取りなした。帰り道で市は刺客に襲われるが、得意な居合い斬りで片づけた。市は旅先で絵を描く浪人と知り合い、色を教えてもらった。その間も五右衛門一家の刺客が襲いかかるが、市の居合い斬りの前には歯が立たない。八州取締役は赤兵衛に五右衛門と対抗するために銃を買うことを勧めた。しかし、赤兵衛は五右衛門と八州が通じていることを知っており、市を用心棒に顧った。一方五右衛門は浪人を新しい用心棒に顧っていた。赤兵衛の宿場で八州は薄幸の少女おうめを手込めにしようとするが、市に斬られた。浪人は湯治場で一度市を見逃すが、五右衛門一家はついに赤兵衛一家を襲う。壮絶な斬り合いの末、赤兵衛は五右衛門の前に倒れた。その時坂の上から早桶が転ってきて、中から現われたのは八州の首を持った市だった。そして市は数十人の五右衛門一家の子分を絶滅させ、最後に五右衛門と浪人も倒すのだった。
