浜松から移封してきた堀尾親子。現在の安来市・広瀬にある月山富田城に入場するも富田城は中世の山城で城下町の形成には難しい地形に加え水運の便が悪いことや鉄砲戦に向いたつくりではないなどもはや時代錯誤の城であった。そこで城地を改めるとし、親子が目を付けたのは湖畔の町・松江。松江のどこに居を据えるか検討する最中、領地見分に松江に赴いた忠氏は神魂神社の禁足地に踏み入る。しかし戻ってきた忠氏の顔は蒼白。そのまま亡くなってしまった。どうやら人の踏み入れないその場所でマムシに咬まれ、その毒で命を落としたのではないかと言われている。

藩主である忠氏が亡くなり、その息子・忠晴が藩主を継ぐこととなったが、忠晴はまだ６歳。亡き忠氏の父であり、忠晴の祖父である吉晴がその後見を務め城地移転が進められていた。そんな中、忠晴の藩主着任を良しと思わないものがいた。吉晴の娘である勝山である。自分の息子である掃部（かもん）を藩主とするべく、ある夜忠晴へ暗殺者を送る。間一髪のところで企てを察した忠晴は月山富田城から命からがら売豆紀坂まで走って追っ手を逃れたといわれている。

築城時、何度積み直しても完成間近になるとガラガラと大きな音を立てて崩れてしまう石垣があった。ちょうど松江城の鬼門の方角に当たる部分であったため、築城主である堀尾吉晴は霊験あらたかな宮司を招き、敷地内を調べてもらった。すると宮司が掘ってみろ、と崩れた石垣の根本付近の一点を示した。その場所を掘り起こしてみると槍の穂先が刺さったしゃれこうべが現れた。これを三日三晩の大祈祷の末手厚く祀るとようやく石垣は積み上げることができたという。この時掘った穴をさらに掘り下げると清らかな水が滾々と湧き出し「ギリギリ井戸」とよばれ重用された。（「ギリギリ」とは方言で「つむじ」のこと。穴の形がつむじの形に似ているから、城のちょうど中心あたりに位置するから、など諸説あり）

松江城の石垣にまつわる話はバリエーションがある。

築城の際、石垣に積み上げても積み上げてもどうしてもうまくいかない部分があったため、人柱を立てることとなった。折しも盆踊りの時期であったため、城下で盆踊り大会が催され、その中で一番美しく踊りのうまい娘が攫われ生きたまま人柱にされた。その石垣は無事に積み上げることができたが、城下で盆踊りが行われると天守が大きく揺れ動き、御城下に災いがあるとされ、いまでも松江城近くでは盆踊りは行われていない。

松江藩の藩主が2代続けて改易になったのも娘の祟りだという人もいる。

松江城は１６０７年に築城が始まり、１６１１年に５年ほどの歳月で築かれたという。現代のように機械や重機も無いなか、たった５年でこの大きな天守や石垣が作られたというのには、驚かざるを得ない。その築城の最中、堀尾吉晴の奥方である大方様は、「石垣を1つ積み上げた者は、1つ餅をもらってもよい」とした。石垣を多く積めばその分多くの餅をもらえる仕組みである。こうして建築現場の士気を上げたという。短い年月で松江城が完成したのはこのお蔭が大きいのかもしれない。

松江城天守の右側面には「祈祷櫓」が置かれていたという。城の中に呪術にまつわる櫓が作られていたのは全国でも珍しいことだったという。天守の鬼門に当たる位置にたてられている。天守最上階に女の幽霊が現れ、「この城は私のもの、誰にも渡さない」というので宍道湖で捕れる「コノシロ」をこの櫓に供えて祀ったところ2度とその幽霊が現れることはなかったという。現在でもこの櫓の下では毎年供養祭を行っている。

また、築城主である堀尾吉晴は風水など呪術的な事柄に長けていたという説がある。山崎の戦いの際には吉方に向かって太巻きのようなもの食して縁起を担ぎ、その戦で見事勝利した、として現在の恵方巻の起源になったともいわれている。

松江藩は財政状況が芳しくなかった。それは松江藩松平家6代目の宗衍の時には窮を瀕していて、「出羽様（松江藩主松平出羽守）御滅亡」と江戸で噂されるほどひっ迫していた。そこで様々な財政改革が行われた。藩主の代が替わり7代目治郷の時にようやく実を結ぶが、中でも大きな収益となったのは当時栽培が難しかったとされる薬用人参だっという。「滅亡寸前」とまで噂された松江藩もようやく潤うと、文化人で金魚が好きだった治郷は天井にガラスを張り、金魚を放し寝ながら金魚を眺めるという優雅な暮らしぶりがうかがえるエピソードも残されている。