Die Gegend um Kocher und Jagst war schon sehr frühzeitig besiedelt, wie die Ausgrabungen, insbesondere auch in Regenbach an der Jagst, zeigen. Irgendwann im 9. und 10. Jahrhundert wurde eine Familie, die in der Nähe vom heutigen Bartenstein eine Burg besaß und die drei Barten im Wappen trug - die Franziska - mit Königsgut in der Umgebung von Künzelsau belehnt. Sie baute vermutlich die erste Befestigungsanlage auf dem Kocherstein und nannte sich "vom Stein". Aus dieser Familie stammt die sagenumwobene Gestalt der Mechthild von Stein, die einen Großteil der Besitzungen ihres Mannes an das Kloster Comburg schenkte. Um 1090 existierten (wie die Urkunde von 1098 beweist) die Familien von Künzelsau und von Stetten sowie von Zottishofen, die ihren Ursprung auf die Familie Stein zurückführen.

Die Herren von Stetten haben mit ziemlicher Sicherheit zu dieser Zeit in Stetten ob Kocher - später Kocherstetten - gesiedelt und zogen erst im 12. Jahrhundert auf den Berg, nachdem sie sich dort eine größere Befestigungsanlage gebaut hatten. Andere Zweige der Familie siedelten auf dem Bachenstein oberhalb von Döttingen, Nagelsberg, Gabelstein (Michelbach/Öhringen) und weiter westlich Wunnenstein, Auenstein, Beilstein und anderen Orten.
In Künzelsau selbst waren dann zunächst zwei Familien ansässig, die Herren von Künzels"awe" und von Barten"aw". An diesen beiden Namen erkennt man deutlich, dass sich die eine Familie nach dem Wappen der "Barten" nannte, die in einer Aue siedelten und die andere nannte sich nach dem kleinen Bach Künzel, der die Aue geformt hatte. Die Anfänge der Burg Stetten waren sicher älter als die heute noch im Original vorhandenen Grundmauern der Burg, des Bergfrieds und der Schildmauer, die zwischen 1180 und 1200 erbaut wurden. Nach der Überlieferung hat Kaiser Friedrich Barbarossa 1185 die Genehmigung zur Errichtung dieser Burganlage seinen treuen Ministerialen Stetten gegeben. Auch damals brauchte man diese vom Landsherrn, das waren die Herzöge von Franken - in diesem Zeitraum zugleich Könige und Kaiser -, um eine befestigte Anlage zu bauen. Im Laufe der Jahrhunderte wurde die Burganlage immer wieder erweitert. Die jetzige Eingangssituation mit dem Torhaus und dem zweiten Graben stammen aus der Zeit zwischen 1420 und 1450. Beide Burggräben hatten Zugbrücken. Die innere Zugbrücke wurde beim Bau des Barockhauses 1715 / 1716 zugeschüttet, die zweite Brücke über den Äußeren Burggraben um 1830 durch eine Steinbrücke ersetzt.
Alle Bauten - mit Ausnahme von Schildmauer und Bergfried - wurden im Laufe der Jahrhunderte verändert, teilweise abgerissen und durch neue ersetzt. Die letzten großen Veränderungen gab es in den Wohngebäuden, die an den Bergfried und die Schildmauer angehängt wurden, im Nordflügel 1519. Der schöne fränkisch-alemannische Fachwerkbau ist aus dieser Zeit. Umbauten im Süd- und Westflügel lassen sich auf etwa 1590 zur Zeit des Ausbruchs des Erkers in der Schildmauer datieren. Die letzte größere Veränderung innerhalb der Burganlage war der Bau des Barockschlosses 1715 / 1716.

Im 30-jährigen Krieg war die Familie Stetten kurz vor dem Aussterben, wenn nicht Wolf-Eberhard v. Stetten, der 1644 als schwedischer Rittmeister starb und in Künzelsau beerdigt wurde, drei kleine Söhne gehabt hätte: Johann Heinrich geb. 1638, Johann Ernst geb. 1640 znd Wolf Christoph geb. 1643.
Diese drei teilten in jahrzehntelangen Verhandlungen nach ihrer Volljährigkeit die Besitzungen. Der endgültige Teilungsprozess von 1692 zeitigte das Ergebnis: Gemeinsam blieb der "Gemeinbau", das waren die Wehranlagen, Mauern, Türme, Gräben, Schildmauer, Bergfried und Kapelle. Das Innere Haus nahm seinen Sitz in den Wohngebäuden der Burg, das Äußere Haus in dem damals noch vorhandenen kleineren Gebäude vor der Burg, und das Buchenbacher Haus übernahm das Schlösschen und Herrenhaus in Buchenbach.

Umfangreiche Umbauten wurden immer wieder auch an den Gutsgebäuden vor der Burg vorgenommen. Die größten Umbauten wurden ab 1983 in den vorhandenen Gebäuden vorgenommen und mit Neubauten ergänzt.