ForHosting KIT · Mathematik

Rényi-Entropie-Rechner

Die Wahrscheinlichkeiten 0,5 und 0,5 ergeben bei Ordnung 2 eine Rényi-Entropie von 1 Bit. Geben Sie Wahrscheinlichkeiten oder einfache Häufigkeiten und eine Ordnung α ein und sehen Sie Entropie, normierte Verteilung und Potenzsumme. Kostenlos in Ihrem Browser.

  • Kostenlos
  • Läuft in Ihrem Browser
  • Ohne Anmeldung
  • Ihre Daten bleiben auf Ihrem Gerät
Nutzen Sie es über WebAPIE-MailTelegramApp bald
Wenn Sie eingeben
Wahrscheinlichkeiten
0,5, 0,5
Alpha
2
Erhalten Sie
Gesamt
1 bits
N
2
Summe von p^alpha
0,5
Rényi-Entropie
1

Die Rényi-Entropie ist eine einparametrige Familie von Informationsmaßen, die die Shannon-Entropie für diskrete Wahrscheinlichkeitsverteilungen verallgemeinert. Für eine Ordnung alpha ungleich eins wird sie aus der Alpha-Potenzsumme der normalisierten Wahrscheinlichkeiten gebildet und geht bei bestimmten Ordnungen in bekannte Spezialfälle über, darunter die Hartley-Entropie bei null und die Kollisionsentropie bei zwei. Dieser Rechner nimmt eine Liste nichtnegativer Gewichte oder Wahrscheinlichkeiten und eine endliche Ordnung alpha entgegen, normalisiert die Liste durch ihre Summe und liefert die Rényi-Entropie in Bit zusammen mit der normalisierten Verteilung und der Zwischensumme der Potenzen.

Eine Entropie mit einstellbarem Blickwinkel

Die Shannon-Entropie misst, wie überraschend die Ausgänge einer Quelle im Mittel sind. Die Rényi-Entropie erweitert diese Idee zu einer ganzen Familie, gesteuert durch die Ordnung α. Gerechnet wird so: Die Werte werden zuerst durch ihre Summe geteilt, damit sie zusammen eins ergeben. Dann wird jede Wahrscheinlichkeit mit α potenziert, die Potenzen werden addiert, vom Ergebnis wird der Logarithmus zur Basis 2 genommen und dieser mit eins durch eins minus α multipliziert. Bei Ordnung 0 entsteht die Hartley-Entropie, die nur die Zahl der möglichen Ausgänge zählt, bei Ordnung 2 die Kollisionsentropie.

Wofür man sie nutzt und typische Fehler

Studierende prüfen damit Übungsaufgaben aus der Informationstheorie von Hand nach, in der Kryptografie vergleicht man verschiedene Ordnungen an beobachteten Häufigkeiten einer Zufallsquelle, und Gewichte von Klassen oder Themen lassen sich zu einer einzigen Vielfaltszahl verdichten. Der häufigste Fehler ist, α gleich 1 einzugeben, um die Shannon-Entropie zu erhalten: Dort hat die Formel keinen Wert, deshalb wird diese Eingabe abgelehnt, und Sie brauchen einen eigenen Shannon-Rechner. Rohe Häufigkeiten müssen Sie nicht vorher umrechnen, sie werden automatisch normiert. Eine Liste, deren Summe null ist, wird dagegen abgelehnt.

Was die Rényi-Entropie misst und wie sie mit Shannon zusammenhängt

Die Shannon-Entropie quantifiziert die mittlere Überraschung einer diskreten Quelle unter einer einzigen logarithmischen Erwartung. Wenn alpha gegen eins geht, hat der Ausdruck eine hebbare Singularität und der Grenzwert ergibt die Shannon-Entropie; deshalb lehnt dieser Endpunkt alpha gleich eins ab, statt still die Formel zu wechseln. Bei alpha gleich null wird das Maß zum Hartley-artigen Zählen der Trägergröße auf logarithmischer Skala.

Bei alpha gleich zwei ist es die Kollisionsentropie, eng mit der Kollisionswahrscheinlichkeit verknüpft und häufig in Kryptografie und Zufallsextraktoren genutzt. Wenn alpha groß wird, dominiert die größte Wahrscheinlichkeitsmasse und der Wert nähert sich der Min-Entropie. Verschiedene Ordnungen betonen seltene oder häufige Ereignisse: niedrige alpha-Werte sind empfindlicher für die Ränder der Verteilung, hohe alpha-Werte fokussieren den Peak.

Eine einzige Familie mit einstellbarem alpha erlaubt Informationstheoretikern, ML-Praktikerinnen und Studierenden, dieselbe Quelle unter mehreren Linsen zu vergleichen, ohne jedes Mal eine neue Definition zu erfinden. Diese Seite implementiert die klassische diskrete Rényi-Formel auf dem endlichen Alphabet Ihres Arrays, nicht die stetige differentielle Entropie und nicht eine Monte-Carlo-Schätzung einer unbekannten Dichte.

Hausaufgaben und informationstheoretische Labore

Studierende geben eine kurze diskrete Verteilung und die Ordnung α ein und prüfen H_α in Bit gegen die Handrechnung, ohne den vollen scipy-Stack zu installieren.

Kryptografie und Zufallsqualität

Ingenieurinnen und Ingenieure vergleichen Kollisionsentropie (α = 2) und andere Ordnungen auf empirischen Symbolhistogrammen beim Dimensionieren von Extraktoren oder Audits von Quellen.

Diversität und ML-Feature-Gewichte

Pipelines wandeln nichtnegative Klassen- oder Themengewichte unter festem α in eine einzige Rényi-Diversitätszahl für Dashboards und Tests um.

Warum wird alpha gleich eins abgelehnt?

Die geschlossene Rényi-Formel teilt durch (1−α), was bei α = 1 singulär ist.

Was passiert, wenn die Summe des Wahrscheinlichkeitsarrays null ist?

Eine Nullsumme lässt sich nicht zu einer Wahrscheinlichkeitsverteilung normalisieren. Validierungsfehler werden nicht berechnet.

Müssen die Wahrscheinlichkeiten bereits zu eins summieren?

Nein. Nichtnegative Gewichte werden akzeptiert und durch ihre Summe geteilt. Die Antwort liefert sowohl total als auch das normalisierte probabilities-Array.

Was ändert die Ordnung α an der Rényi-Entropie?

Sie legt fest, welche Ausgänge am stärksten zählen. Niedrige Ordnungen reagieren stärker auf seltene Ausgänge, hohe Ordnungen auf den wahrscheinlichsten, und bei sehr großem α nähert sich der Wert der Min-Entropie, die nur von der größten Wahrscheinlichkeit abhängt.

Was ist die Rényi-Entropie der Ordnung 2?

Das ist die Kollisionsentropie. Sie hängt eng mit der Wahrscheinlichkeit zusammen, dass zwei Ziehungen denselben Ausgang liefern, und wird in der Kryptografie genutzt, um Zufallsquellen zu beurteilen. Für 0,5 und 0,5 beträgt sie 1 Bit.

Funktioniert der Rechner auch für stetige Verteilungen?

Nein. Er verwendet die klassische Formel für eine endliche Liste von Ausgängen, die Sie eingeben. Eine differentielle Entropie stetiger Dichten oder eine Schätzung aus Simulationen berechnet er nicht.

Alles auf dieser Seite ist auch per API verfügbar. Dieser Abschnitt richtet sich an Teams, die es in ihre eigenen Systeme einbinden möchten; alle anderen nutzen einfach das Tool oben.

POSThttps://api.kit.forhosting.com/stat/renyi-entropy

Authentifizierung per Bearer-Token. Ein einziger POST stellt die Aufgabe in die Warteschlange; das Ergebnis erhalten Sie per Webhook oder über einen signierten Link.

curl -X POST https://api.kit.forhosting.com/stat/renyi-entropy \
  -H "Authorization: Bearer $KIT_KEY" \
  -H "Content-Type: application/json" \
  -d '{"probabilities":[0.5,0.5],"alpha":2}'
{
  "probabilities": [
    0.5,
    0.5
  ],
  "alpha": 2
}
{
  "task_id": "tsk_a1b2c3d4e5f6a1b2c3d4e5f6",
  "type": "stat.renyi_entropy",
  "status": "queued",
  "_links": {
    "result": "/tasks/tsk_…/result"
  }
}

Die API arbeitet asynchron: Sie erhalten sofort eine task_id. Polling ist mit 1 Anfrage pro Sekunde erlaubt.

pro Anfrage$0.002

Der Preis steht auf der Seite – keine Tokens, keine Credits. Fehlgeschlagene Aufgaben werden nicht berechnet.

HTTPCodeBedeutung
401unauthorizedDer API-Schlüssel fehlt oder ist ungültig – prüfen Sie den Authorization-Header (Bearer).
402insufficient_balanceIhr Guthaben reicht für diese Aufgabe nicht aus – Aufladungen verfallen nicht.
404unknown_typeUnbekannter Aufgabentyp – prüfen Sie das Feld „type“ gegen den Katalog.
429rate_limitedZu viele Anfragen – warten Sie kurz; Polling ist mit 1 Anfrage pro Sekunde erlaubt.

Anfragen scheitern sauber mit invalid_input, wenn die Gesamtmasse null ist oder alpha eins ist, sodass Automatisierung die singuläre geschlossene Form nie mit einem gültigen Shannon-Wert verwechselt.

Was die Rényi-Entropie misst und wie sie mit Shannon zusammenhängt

Alfréd Rényi führte ein Kontinuum von Alternativen ein, indiziert durch eine reelle Ordnung alpha: Nachdem die Verteilung als nichtnegative Wahrscheinlichkeiten mit Summe eins geschrieben ist, bildet man die Summe jeder Wahrscheinlichkeit hoch alpha, nimmt den Zweierlogarithmus dieser Summe und skaliert mit eins durch eins minus alpha. Das resultierende H_alpha wird in Bit gemessen, wenn der Logarithmus zur Basis zwei ist.

Eingabevertrag, Normalisierung, Antwortfelder und Fehler

Kombinieren Sie dieses Werkzeug mit einem Shannon-Rechner, wenn Sie speziell den Grenzwert alpha gegen eins brauchen, statt alpha gleich eins in die singuläre Formel zu zwingen. Senden Sie ein JSON-Objekt mit zwei Pflichtfeldern. probabilities ist ein nichtleeres Array endlich nichtnegativer Zahlen; die Aliase probs, p, weights und values werden akzeptiert, ebenso eine durch Komma oder Leerzeichen getrennte Zeichenkette für einfache Textformulare. Die Engine summiert die Gewichte zu einem total und teilt jeden Eintrag durch diese Summe, sodass unnormalisierte Zählungen und Histogramme genauso funktionieren wie bereits normalisierte Wahrscheinlichkeiten. alpha ist die Rényi-Ordnung, eine endliche Zahl ungleich eins; die Aliase order und a werden akzeptiert. Bei Erfolg enthält die Antwort n als Arraylänge, alpha als bereinigte Ordnung, total als Summe der Rohgewichte vor der Normalisierung, probabilities als normalisierte Verteilung, sum_p_alpha als Summe jeder normalisierten Masse hoch alpha, renyi_entropy als H_alpha in Bit, unit gesetzt auf bits, formula als die geschlossene Formelzeichenkette und method gesetzt auf renyi_entropy_bits. Die Validierung scheitert mit invalid_input und ohne Belastung, wenn die Liste fehlt oder leer ist, ein Eintrag negativ oder nicht endlich ist, die Gewichtssumme null ist, alpha fehlt oder nicht endlich ist, alpha eins ist, die Liste die veröffentlichte Größengrenze überschreitet, oder bei negativem alpha eine Nullwahrscheinlichkeit eine unendliche Potenz erzeugen würde. Beispiel: probabilities null Komma fünf und null Komma fünf mit alpha zwei ergeben renyi_entropy gleich einem Bit und entsprechen der Kollisionsentropie einer fairen binären Quelle.

Praktische Nutzung, Grenzen, Preis und Bereitstellung

Nutzen Sie das kostenlose Browser-Tool, wenn Sie eine sofortige Rényi-Zahl für ein kurzes Histogramm, eine Hausaufgabenverteilung oder einen Feature-Gewichtsvektor brauchen, während Sie einen Artikel lesen, der H_alpha zitiert. Wenn alpha nahe bei eins, aber nicht genau eins liegt, erwarten Sie numerische Empfindlichkeit des Skalierungsfaktors eins durch eins minus alpha; für den echten Shannon-Wert nutzen Sie einen eigenen Shannon-Endpunkt oder einen analytischen Grenzwert statt eines extrem nahen alpha. Verdrahten Sie den Endpunkt in Kryptografie-Labore, die Kollisions- und Min-ähnliche Ordnungen vergleichen, in Diversitätsindizes, die bereits Rényi-Sprache sprechen, oder in jede Automatisierung, die ein dokumentiertes H_alpha braucht statt den Logarithmus von Potenzsummen in jeder Sprache neu zu implementieren. Nutzen Sie die API, wenn ein Notebook, ein Interview-Sandbox, eine Sicherheits-Pipeline oder eine Bildungsseite stabiles JSON für viele diskrete Verteilungen unter einem Vertrag braucht. Jede erfolgreiche Anfrage ist ein abrechenbares Item zu $0.002; ungültige Eingaben werden nicht berechnet. Halten Sie Arrays innerhalb der veröffentlichten Maximallänge, damit Worker-Isolates und Browser-Pfade schnell bleiben; einhunderttausend nichtnegative Gewichte decken Klassentabellen und typische empirische Histogramme ab. Ergebnisse sind vollständig deterministisch: dieselben probabilities und dasselbe alpha liefern immer dasselbe renyi_entropy, ohne Sprachmodell, ohne externen Statistikdienst und ohne Zufallsgenerator auf dem Hot Path.

Wie berechne ich die Rényi-Entropie mit diesem Rechner?

Senden Sie JSON mit probabilities (nichtnegative Zahlen) und alpha (Ordnung ≠ 1). Die API normalisiert die Gewichte und liefert renyi_entropy in Bit als 1/(1−α)·log2(Σ p_i^α), plus die normalisierte Verteilung und sum_p_alpha.

Was kostet der Rényi-Entropie-Rechner?

Das Browser-Tool läuft kostenlos auf Ihrem Gerät. API-Aufrufe nutzen vorausbezahltes KIT-Guthaben zu $0.002 pro erfolgreichem Item; ungültige Eingaben werden nicht berechnet.

Vollständige KIT-Dokumentation lesen →