Masanosuke est un rônin, c'est-à-dire un samouraï sans maître, congédié par son daimyô à cause de sa trop grande timidité.  Contraint d'errer de ville en ville, à la recherche de moyen de subsistance, il fait la rencontre de Yaichi, un jeune homme mystérieux assez débauché. Lorsque Yaichi lui propose de devenir son garde du corps, Masa ne se doute pas que Yaichi est en fait le chef d'une bande de brigands, les Goyô, spécialisés dans les enlèvements contre rançon ! Masanosuke ne sait trop que penser, mais il est en même temps fasciné par les Goyô et leurs singularités.

La bande compte en tout quatre membres : Umezo, le tenancier de la taverne où la bande se réunit, O-Take, la fille de la bande dont Umezo est amoureux, l'informateur Matsukichi et l'énigmatique Yaichi. Progressivement et presque malgré lui, Masa est embarqué dans les affaires louches des Goyô.