Disclaimer: Dieser Thread wurde aus dem alten Forum importiert. Daher werden eventuell nicht alle Formatierungen richtig angezeigt. Der ursprüngliche Thread beginnt im zweiten Post dieses Threads.
Klausur Herbst 2004 - Aufgabe III-2
Hallo!
Ich habe mit der im Betreff erwähnten Aufgabe ein Verständnisproblem.
Wie ist Teilaufgabe a) gemeint? Was heißt “Wie drückt sich Hp mittels H(x,1-x) aus?” ? Heißt das einfach ich soll die Entropiefunktion für die binomialverteilte Wahrscheinlichkeit angeben? Auf die Aufgabe gibts nur einen Punkt, also kanns nicht so schwer sein - vielleicht steh ich auf dem Schlauch…
Zu Teilaufgabe c):
Heißt das eigentlich, dass man zeigen soll, dass die funktion f(n)=µ/n element von Tetta( H(p, 1-p) ) ist ? Wie geht ihr dabei vor?
Herzliche Grüße,
Marco
hallo
auf die aufgabe gibt´s deshalb wenig punkte weil es 1:1 eine Übungsaufgabe ist.
Da werden die einzelnen stellen der Bitstrings unabhängig voneinander betrachtet. Somit is die Entropie der Quelle die Entropie der einzelnen Stellen zusammen. Also n * H(p, 1-p).
Und die c baut darauf auf. Natürlich muss man über die Äquivalenz zwischen mittlere Wortlänge einer präfixcodierung und der mittleren Pfadlänge eines binärbeums kennen.
Hier wär das lim n-> unendl. n*H(p,1-p)/n = H(p,1-p).
Schöne Grüße.
Hallo Hanswurscht!
Kannst Du mir die tatsache mit dem n*H(p,1-p) vielleicht erklären? Ich hab ein paar Zahlenbeispiele gerechnet, und die Entropien sind dann zwar tatsächlich recht ähnlich aber eben nicht identisch. Die c) hab ich mit vorausgesetztem Wissen von a) verstanden, danke dafür.
Gruß,
marco
Also ich denke da geht man so vor. Man stellt sich eine liste aller dieser bitstirings vor. da kann man einerseits wort für wort eine entropie H(p.1-p) zuordnen. Andererseits kann man da auch Spaltenweise vorgehen, da die stellen der Bitstrings unabhängig voneinander betrachtet werden dürfen. Ja und daraus folgt dann n * H(p,1-p), weil die bitstrings ja n lang sind.
Aber das erklärt mir irgendwie noch immer nicht, warum das identisch sein soll. Die gegebene Wahrscheinlichkeitsverteilung ist doch binomial verteilt. Wählt man z.B. n=3, so hat mal 3 Vektoren mit einem Einser, 3 mit zwei Einsern, 1 Vektor mit gar keiner Eins und ein Vektor nur mit Einsern. Naja… eben binomial verteilt.
Wir hatten ja mal ne Übung, da sollten wir zeigen, dass gleichheit gilt, wenn wir für p=n/k setzen. Das hab ich durchgerechnet und habs auch verstanden. Vielleicht ist es so zu verstehen dass die gesuchte binomialverteilte Entropie mit Parameter p größer oder gleich n*H(p,1-p) ist.
Nunja, scheinbar ein weiterer Punkt, den ich einfach auswendig lerne ohne ihn verstanden zu haben.
(-: