Die Verhaltensgenetik untersucht, welchen Einfluss Gene auf das Verhalten von Tieren und Menschen haben. Dieses Teilgebiet der Genetik bündelt Einflüsse aus Entwicklungsgenetik, Ethologie und Psychologie (besonders die Evolutionäre Psychologie und die Entwicklungspsychologie).

Das Motiv der verhaltensgenetischen Forschung ist vor allem die Suche nach Hinweisen, wie stark das Verhalten genetisch beeinflusst ist. In der Psychologie währte diese Phase wegen des besonderen Einflusses der so genannten klassischen vergleichenden Verhaltensforschung vor allem in der ersten Hälfte des 20. Jahrhunderts. Spätere verhaltensgenetische Untersuchungen (unter anderem von Seymour Benzer) verlagerten ihr Untersuchungsgebiet auf quantitative Methoden. Heute richtet sich das Hauptgewicht auf die Anwendung molekulargenetischer Methoden und Techniken, um einzelne Gene zu lokalisieren, die das Verhalten beziehungsweise konkrete kognitive Aspekte (z. B. Lesefähigkeit) beeinflussen.

Die Verhaltensbiologie richtet ihr Augenmerk auf durch Tierzucht erreichte Zuchtlinien und Ergebnisse, um genetisch Vererbtes von durch Umwelteinflüssen Bedingtem zu unterscheiden.

Die klassischen Verhaltensgenetiker untersuchten die Heritabilität (Erblichkeit) von Verhaltensmerkmalen.

Die Heritabilität gilt als ein Maß dafür, wie viel die Genetik zu der Ausprägung eines Merkmals beiträgt. Die Heritabilität misst, wie viel der Varianz innerhalb einer gegebenen Population auf genetische Faktoren rückführbar ist. Entspricht die Heritabilität der Körpergröße ungefähr 0.69^[1], bedeutet dies, dass 69 % der Unterschiede (ausgedrückt als Varianz) bezüglich der Körpergröße zwischen Personen innerhalb einer gegebenen Population auf genetische Faktoren rückführbar sind. Das Maß der Heritabilität kann aufgrund der Unterschiede, die zwischen verschiedenen Populationen vorhanden sind, variieren^[2].

Francis Galton veröffentlichte 1869 die erste empirische Studie der menschlichen Verhaltensgenetik: "Erbliches Genie" (Hereditary Genius). Galton suchte den Beweis, dass „die natürlichen Fähigkeiten des Menschen vererbt werden, unter genau den gleichen Bedingungen, wie die Formen und die körperlichen Eigenschaften der gesamten organischen Welt.“

Heutzutage besteht in der kognitiven Neurowissenschaft weitgehende Einigkeit darüber, dass die wenigsten Gene im Einzelnen für eine bestimmte Funktion oder Eigenschaft zuständig sind und auch die Umwelt nicht alleinig die Entwicklung eines Individuums beeinflusst^[2]. Galtons Untersuchung bezog sich auf Verwandtschaftsstrukturen über Vererbung von Begabung und Talent. Galton vermutete richtig, dass die Ähnlichkeit unter Verwandten sowohl durch die gemeinsamen Gene als auch die gemeinsame Umwelt bedingt sein kann. Hierbei werden gegenwärtig vier verschiedene Mechanismen der Anlage-Umwelt-Wechselwirkung unterschieden, durch die sich genetische Veranlagung und individuelle Umwelt wechselseitig beeinflussen^[3].

• Unter epigenetischen Mechanismen^[3] wird der Einfluss von Umweltfaktoren darauf verstanden, ob und wann es zur Genexpression kommt. Die Nukleotidsequenz der DNA des Individuums verändert sich durch Umwelteinflüsse allerdings nicht^[2].
• Der Entwicklungskontext^[3] beeinflusst die Heritabilität. Maximale Heritabilität ist in Entwicklungskontexten mit hoher Chancengleichheit vorzufinden. Minimale Heritabilität ist in stark restriktiven Entwicklungskontexten vorzufinden, wie sie beispielsweise durch hohe Umweltrisiken oder starke soziale Kontrolle von innerhalb der Population geduldeten Verhaltensweisen entstehen^[2].

• Die Anlage-Umwelt-Korrelation^[3][4](rGE, auch: Genotyp-Umwelt-Kovariation, Anlage-Umwelt-Kovariation) beschreibt den Einfluss des Genotyps eines Individuums darauf, mit welchen Umwelten es in Kontakt kommt. Genotypen sind nicht normalverteilt in Umwelten aufzufinden^[5]. Es gibt drei Arten der Anlage-Umwelt-Korrelation, die aufzeigen, wie sich Individuen auf Umwelten verteilen.
  • Die passive Anlage-Umwelt-Korrelation^[6] bezieht sich auf den Effekt der elterlichen Umwelt, die sich das Individuum noch nicht selbst aussucht, welche aber in signifikantem Maße dessen Entwicklung prägt.
  • Die reaktive Anlage-Umwelt-Korrelation^[7] bezieht sich auf die Aufnahme der durch den Genotyp beeinflussten Merkmale (z. B. Affinität für Musik/Mathematik) des Individuums durch andere Menschen in dessen Umfeld. Beispiele für solche Personen sind Lehrer oder Mitschüler.
  • Die aktive Anlage-Umwelt-Korrelation^[8] betrifft das eigenständige Aufsuchen oder Schaffen bestimmter Umwelten durch das Individuum, was wiederum dessen Entwicklung beeinflusst.

• Die Anlage-Umwelt-Interaktion^[3] (G x E, auch: Genotyp-Umwelt-Interaktion) beschreibt, wie durch das Vorhandensein eines bestimmten Allels in Kombination mit einem bestimmten Umwelteinfluss die Wahrscheinlichkeit, ein Merkmal zu entwickeln, verringert beziehungsweise erhöht wird^[9].

Die gegenwärtige Verhaltensgenetik untersucht bestimmte Bevölkerungsgruppen in der anthropologischen Forschung mittels zweier Methoden:

• der Zwillingsforschung und
• der Adoptionsforschung.

Beide Methoden sollen es ermöglichen, Anlage („nature“) und Umwelt („nurture“) voneinander zu trennen. Das bedeutet, zu erforschen, welche Unterschiede zwischen Zwillingen und (adoptierten) Geschwisterkindern genetisch bedingt oder auf Umweltbedingungen zurückzuführen sind.

In Zwillingsstudien wird eine Untersuchung bezüglich eines Merkmals zwischen monozygoten (eineiigen) Zwillingen, die getrennt aufgewachsen sind und somit in anderen Umweltbedingungen leben, vorgenommen. Eine andere Möglichkeit bietet ein Vergleich bezüglich des untersuchten Merkmals zwischen miteinander aufgewachsenen monozygoten (eineiigen) und dizygoten (zweieiigen) Zwillingen. Sind sich die monozygoten Zwillinge im Vergleich zu den dizygoten Zwillingen ähnlicher, spricht dies für eine genetische Beeinflussung bzw. Determinierung des untersuchten Merkmals.

In Adoptionsstudien soll betrachtet werden, ob das Adoptivkind den biologischen Eltern („Nature“) oder den Adoptiveltern („Nurture“) mehr ähnelt. Mit den biologischen Eltern teilt sich das Kind die Gene, aber nicht die Umwelt. Mit den Adoptiveltern teilt sich das Kind die Umwelt, aber nicht die Gene. Ein Problem der Adoptionsstudien ist häufig, dass die biologischen Eltern des Kindes nicht ausfindig gemacht werden können und somit keine Vergleich möglich ist. Eine Alternative, auf die überwiegend zurückgegriffen wird, ist, dass ein Vergleich zwischen dem Adoptivkind und dem nicht adoptierten, im selben Haushalt lebenden Geschwisterkind vorgenommen wird.

Gegenwärtig konzentriert sich die Verhaltensgenetik besonders auf die Psychiatrische Genetik und untersucht psychische Erscheinungen wie Schizophrenien, bipolare Störungen, Alzheimer-Krankheit und Alkoholismus. 2016 veröffentlichten führende Verhaltensgenetiker um Robert Plomin eine Liste der zehn bestreplizierten Forschungsergebnisse ihres Fachgebiets. Dazu zählen die folgenden Aussagen (original):^[10]

1. All psychological traits show significant and substantial genetic influence
2. No traits are 100% heritable
3. Heritability is caused by many genes of small effect
4. Phenotypic correlations between psychological traits show significant and substantial genetic mediation
5. The heritability of intelligence increases throughout development
6. Age-to-age stability is mainly due to genetics
7. Most measures of the “environment” show significant genetic influence
8. Most associations between environmental measures and psychological traits are significantly mediated genetically
9. Most environmental effects are not shared by children growing up in the same family
10. Abnormal is normal

• Robert Plomin, John C. DeFries, Gerald E. McClearn, Peter McGuffin: Behavioral Genetics. Palgrave Macmillan, 2008 (5. Auflage). ISBN 978-1-4292-0577-1. (deutsch: Peter Borkenau (Übersetzer), R. Riemann (Übersetzer), F. M. Spinath (Übersetzer): Gene, Umwelt und Verhalten: Einführung in die Verhaltensgenetik. Huber, Bern (1999). ISBN 3-456-83185-4)
• Peter Borkenau: Anlage und Umwelt. Eine Einführung in die Verhaltensgenetik. Hogrefe Verlag (1. Januar 1993). ISBN 3-8017-0662-1
• Jamie Ward: The student's guide to cognitive neuroscience. 3. Auflage. Taylor & Francis Ltd., 2015, ISBN 978-1-84872-272-9. Abgerufen auf https://ebookcentral.proquest.com

• Verhaltensgenetik: Juwelen im „biologischen Abfall“. Auf: orf.at, eingesehen am 30. Oktober 2016
• US Human Genome Research Institute, Social and Behavioral Research Branch