17世紀。ニューイングランドは、清教徒の移民たちによって造られた小さな町。この町の刑台に赤子を抱いたまま晒されている女は、へスター・ブリン。人妻の彼女は、姦淫の罪で罰せられるが、彼女は子どもの父親の名前は決して明かさなかった。
彼女は、生涯、胸に、罪と恥の烙印として、緋文字（ひもんじ）「A」を付けさせられた。
この刑を見守る衆人の後ろでじっと見つめていたのが、長いこと行方のわからなかったヘスターの夫で、彼は、名を変えて町に住みつく。この男の執念深く、静かな復讐が、凄く怖い。
最初から気になっていたのは、名を明かされないまま、確かにこの町にいるはずの子どもの父親のことだった。目に見えない男(やがて明かされるが）を気にしながら、ヘスターのその後の人生を読んでいると、これは、運命の女ファム・ファタルの物語（マノン・レスコーのような）の、ひっくり返し。女の側からの物語、とも思えた。
凛とした静けさ、清貧というのが相応しい暮らしぶり。へスターの暮らしのなかで、もともと罪と罰の印である緋文字も、さまざま意味を変えていくように思える。
あるときは、悪魔の仲間の印になり、あるときには、「真っ赤に焼けた鋏で魂を刺されるような」真実に向かいあわせる厳しい戒となり、ときには、暗闇を照らす明るい灯となり、ほかの人々が踏み込めない場所に踏み込んでいくためのパスポートにもなり……最後には誇りのありかを示す徴にも思えた。
束の間、胸から外されたときには、その文字に、羽ばたく鳥の姿を思わず連想した。
胸の上で輝くこの文字はいったい何者なのだろう。
文字は、まるで生きて命をもち、ヘスターの敵になり味方になりながら、ともに居る者のようだった。
着けることを命じた者たちの意を越えた存在になっているような。
この文字を、胸につけたヘスター自身の気持ちのありようによるのかもしれない。そのせいで、この文字の意味合いが変わってきたように感じたのだろうか。
ミステリーなみに、これが実体かとおもえば、影に過ぎなかった（見える緋文字が影で、見えない緋文字が実体）という話は、興味深かった。
ヘスター自身は、胸の緋文字をどう見ていたのだろう。
これをつけることがまるで神様への祈りのようにさえ感じられるときがあった。恥というよりも畏れの気持ちで見ていたのではないかと思う時があった。このしるしによる痛みや苦しみにさえ、一種の親しさのようなものを感じるのだが。
それは、ヘスターが愛娘パールを見る目と被る。
「この子は神様にいただいたもの！ 何もかもとりあげられた私に神様がくださった。この子だけが私の幸せ、私の苦しみ。パールがいるから私も生きていける。パールが私を罰するのでもある。おわかりになりませんか？ この子が緋文字なのです」
