A szexuális viselkedést, a nemi vágyat, a szexuális képeket, fantáziákat az agy szabályozza. Az agy bizonyos területein, főként a hipotalamuszban találhatóak olyan idegi képletek, amelyek a szexuális viselkedés összetettebb mozzanatait irányítják.
A nemi hormonok termelődése és annak szabályozása felnőttkorban a hipotalamuszban történik. Nemi éréskor, vagyis pubertáskorban a hipotalamusz gonadotropfelszabadító faktorokat választ ki, amelyek az agyalapi mirigyet serkentik. Az agyalapi mirigy hormonjai, a gonadotrophormonok a vérkeringésen keresztül jutnak az ivarmirigyekhez. Az ivarmirigyek termelik a petéket és a spermiumokat, a gonadotrophormonok aktiválják az ivarmirigyeket, amelyek erre saját nemi hormonokat választanak ki a véráramba. A nemi hormonoknak azonban bizonyítottan csekély szerepük van a szexuális vágyra. (Például a nők szexuális motivációja a menopauza után sem csökken.)
A hipotalamusz sérülése viszont megszüntetheti a szexuális érdeklődést, viselkedést.
A szexuális viselkedések, szokások tanulmányozásánál elengedhetetlen a kulturális különbségek figyelembevétele. Míg az 1940–50-es években az Egyesült Államok a nyugat-európai országokhoz hasonlóan szexuálisan korlátozó államok közé tarozott, addig a hetvenes évek végére, a szexuális forradalom következtében, sokkal nyugodtabb, elfogadóbb társadalommá vált. Az 1940–50-es években az amerikaiak egyedül a házasságon belüli nemi kapcsolatot tekintették legitimnek, a házasságon kívüli vagy előtti, és a homoszexuális kapcsolatot elítélték, sőt törvényekkel tiltották. Ez azonban nem jelentette azt, hogy nem folytattak ilyen „tiltott” kapcsolatokat, de a társadalmi megítélés folytán ezeket a kapcsolatokat mély bűntudat és szégyenérzet kísérte.
A házasság előtti párkapcsolat, nemi élet ma már elfogadott. A szexuális forradalom hatására megváltozott az emberek szexuális viselkedése: ez a változás a nők körében jelentősebb volt, mint a fér-fiaknál. Bár a nők a szexuális viselkedés terén egyre hasonlóbbakká válnak a férfiakhoz, néhány alapvető dologban mégis különböznek. A házasság előtt nemi életet élő nők többségének csupán egy vagy két partnere van, és azokhoz is érzelmi kapcsolat fűzi őket. A férfiak viszont általában több partnerrel tartanak fenn szexuális viszonyt. Felmérések arra engednek utalni, hogy egy ötéves perióduson belül mind a férfiaknak, mind a nőknek egynél több szexuális partnerük akad.
Különbözik még a nők és a férfiak hozzáállása a szexhez. A nők a nemi életet a szerelmi kapcsolat részének tekintik, míg a férfiak nem feltétlenül.
A nőkből elsősorban az érzelmi hűtlenség vált ki heves féltékenységi reakciót attól függetlenül, hogy a hűtlenség járt-e szexuális viszonnyal, a férfiak viszont a szexuális félrelépést nem tudják megbocsátani. A férfi és női szexuális viselkedésminta közötti különbség a szexuális irányultságtól függetlenül fennmarad. A leszbikus női partnerek általában ritkábban szeretkeznek, mint a heteroszexuális párok, a homoszexuális férfiak viszont többször.
Megoszlanak a vélemények, hogy a felnőttkori szexuális irányultság az egyén életének korábbi szakaszaiban szerzett tapasztalat vagy veleszületett biológiai tényező. E témakörben végzett kutatások jelentős része cáfolja, hogy a homoszexualitás gyermek-, illetve serdülőkori tapasztalatokra épülne. A kutatók úgy gondolják, hogy a homoszexuális irányultság veleszületett, és genetikai okokra vezethető vissza.