Ein Kryptosystem ist allgemein ein System, das mit Kryptographie zu tun hat. Als feststehender Ausdruck findet der Begriff im Namen RSA-Kryptosystem Verwendung. Unter dem Begriff Kryptosystem werden allerdings in unterschiedlichen Kontexten verschiedene Dinge verstanden. Einige Autoren grenzen den Begriff des Kryptosystems auf Verschlüsselungsverfahren ein.^[1][2] Andere benutzen ihn auch für andere kryptographische Systeme wie digitale Signaturen.^[3][4]

Aufgrund dieser Mehrdeutigkeit wurde im veralteten RFC 2828^[5] von der Verwendung dieses Begriffes abgeraten.^[6] Im aktuellen RFC 4949,^[7] welches RFC 2828 ablöste, wird lediglich formalistisch der Terminus „Kryptosystem“ als Kontraktion von „kryptographisches System“ definiert. Inhaltlich bleiben beide Interpretationsmöglichkeiten aufrecht, von denen in der Praxis die allgemeinere bevorzugt wird.^[8] Beide RFCs sind kein Internetstandard, sondern werden als informatorisch eingestuft.

Mathematisch ist ein Kryptosystem als das Tupel von Mengen ${\displaystyle ({\mathcal {P}},{\mathcal {C}},{\mathcal {K}},{\mathcal {E}},{\mathcal {D}})}$ definiert, die so verstanden werden:

1. ${\displaystyle {\mathcal {P}}}$ ist die Menge aller zulässigen Klartexte.
2. ${\displaystyle {\mathcal {C}}}$ ist die Menge aller chiffrierten Texte (Geheimtexte).
3. ${\displaystyle {\mathcal {K}}}$ ist die Menge aller Schlüssel
4. ${\displaystyle {\mathcal {E}}=\{E_{k}:k\in {\mathcal {K}}\}}$ ist die Menge aller Verschlüsselungsfunktionen, wobei jedes ${\displaystyle E_{k}:{\mathcal {P}}\rightarrow {\mathcal {C}}}$ von Klartexten in chiffrierte Texte „übersetzt“.
5. ${\displaystyle {\mathcal {D}}=\{D_{k}:k\in {\mathcal {K}}\}}$ ist die Menge der Entschlüsselungsfunktionen, wobei jedes ${\displaystyle D_{k}:{\mathcal {C}}\rightarrow {\mathcal {P}}}$ von chiffrierten Texten in Klartexte „übersetzt“.

Die definierende Eigenschaft eines Kryptosystems ist nun: ${\displaystyle \forall e\in {\mathcal {K}}\exists d\in {\mathcal {K}}:\forall p\in {\mathcal {P}}:D_{d}(E_{e}(p))=p}$.^[9]

• Schwellwert-Kryptosystem

1. ↑ Johannes Buchmann: Einführung in die Kryptographie. 4., erweiterte Auflage. Springer, Berlin u. a. 2008, ISBN 978-3-540-74451-1, S. 59. 
2. ↑ Bruce Schneier: Angewandte Kryptographie. Protokolle, Algorithmen und Sourcecode in C. Addison-Wesley, Bonn u. a. 1996, ISBN 3-89319-854-7, S. 4. 
3. ↑ Friedrich L. Bauer: Entzifferte Geheimnisse. Methoden und Maximen der Kryptologie. 3., überarbeitete und erweiterte Auflage. Springer, Berlin u. a. 2000, ISBN 3-540-67931-6, S. 7. 
4. ↑ Albrecht Beutelspacher: Kryptologie: Eine Einführung in die Wissenschaft vom Verschlüsseln, Verbergen und Verheimlichen. Ohne alle Geheimniskrämerei, aber nicht ohne hinterlistigen Schalk, dargestellt zum Nutzen und Ergötzen des allgemeinen Publikums. 9., aktualisierte Auflage. Vieweg + Teubner, Wiesbaden 2009, ISBN 978-3-8348-0253-8, S. 2. 
5. ↑ R. Shirey: RFC: 2828 – Internet Security Glossary. Mai 2000 (englisch).
6. ↑ R. Shirey: RFC: 2828 – Internet Security Glossary. Mai 2000 (englisch).

   cryptosystem

   (D) ISDs SHOULD NOT use this term as an abbreviation for cryptographic system. (For rationale, see: crypto.)

   crypto

   Except as part of certain long-established terms listed in this Glossary, ISDs SHOULD NOT use this abbreviated term because it may be misunderstood. Instead, use "cryptography" or "cryptographic".

7. ↑ R. Shirey: RFC: 4949 – Internet Security Glossary, Version 2. August 2007 (englisch).
8. ↑ R. Shirey: RFC: 4949 – Internet Security Glossary, Version 2. August 2007 (englisch).

   cryptosystem

   (I) Contraction of "cryptographic system".

   cryptographic system

   1. (I) A set of cryptographic algorithms together with the key management processes that support use of the algorithms in some application context.

   Usage: IDOCs SHOULD use definition 1 because it covers a wider range of algorithms than definition 2.

   2. (O) "A collection of transformations from plain text into cipher text and vice versa [which would exclude digital signature, cryptographic hash, and key-agreement algorithms], the particular transformation(s) to be used being selected by keys. The transformations are normally defined by a mathematical algorithm." [X509]

9. ↑ Johannes A. Buchmann: Introduction to Cryptography. 2. Auflage. Springer, ISBN 0-387-20756-2.