Entropie

Termodynamický systém s nízkou entropií - „zúženým“ rozložením pravděpodobnosti, a tedy „vysokou“ schopností konat práci

Termodynamický systém s vysokou entropií - „rozšířeným“ rozložením pravděpodobnosti, a tedy nízkou schopností konat práci

Entropie je jedním ze základních a nejdůležitějších pojmů ve fyzice, teorii pravděpodobnosti a teorii informace, matematice a mnoha dalších oblastech vědy teoretické i aplikované. Vyskytuje se všude tam, kde se pracuje s pravděpodobností možných stavů daného systému.

V populárních výkladech se často vyskytuje přiblížení entropie jako veličiny udávající „míru neuspořádanosti“ zkoumaného systému. Problémem tohoto vysvětlení je, že tato „definice“ používá pojem „neuspořádanost“, který je však sám nedefinovaný. Vhodnější je intuitivní představa entropie jako míry neurčitosti systému.^[zdroj⁠?!] Zatímco „ostrá“ rozdělení pravděpodobnosti (jako například prahování) mají entropii nízkou, naopak „neostrá“ či „rozmazaná“ rozdělení pravděpodobnosti mají entropii vysokou. Za pravděpodobnostní rozložení s nejvyšší entropií lze považovat normální (pro danou střední hodnotu a směrodatnou odchylku) nebo rovnoměrné (pro daný interval) rozložení.

Původ slova „entropie“ je odvozen z řeckého εντροπία, "směrem k", (εν- "k" + τροπή "směrem").

Historie

Pojem (termodynamické) entropie zavedl Rudolf Clausius v kontextu klasické termodynamiky s cílem vysvětlit, proč některé procesy jsou spontánní a jiné nejsou.

Mikroskopickou definici entropie předložil Ludwig Boltzmann v roce 1887, jako jeden z centrálních pojmů jím založeného nového oboru fyziky - statistické mechaniky.

Claude Elwood Shannon v r. 1948 na hypotéze, že informace je činitel související s mírou poodhalení té věčně zamlžené „pravdy“ hledané člověkem, postavil matematickou hypotézu vedoucí ke vztahu, známému dříve již jako entropie. Použil tehdy jedinou známou jazykovou reprezentaci neurčitosti – pravděpodobnost, a tak dospěl k uvedenému vztahu. Dal tak základy teorii informace jako exaktní vědě (v článku: Claude Elwood Shannon, Warren Weaver: „A mathematical theory of communication“ v r. 1948).

Definice

V případě diskrétních stavů i pravděpodobností je entropie nejčastěji definovaná (Josiah Willard Gibbs) jako veličina typu:

$S=-k\sum _{i}P_{i}\ln P_{i}\!$

kde S je obecně používaný symbol pro entropii. Sumace se provádí přes všechny mikrostavy odpovídající zadanému makrostavu, a $P_{i}~$ je pravděpodobnost i-tého mikrostavu. Konstanta k odpovídá volbě jednotek, ve kterých je entropie S měřena. V jednotkách SI je k = k_B = Boltzmannova konstanta = 1,380 649×10⁻²³ J K⁻¹. Jednotka entropie je tedy formálně stejná, jako jednotka tepelné kapacity. V jednotkách bit je k = 1/ln(2), takže

$S=-\sum P_{i}\log _{2}P_{i}$.

Z matematického pohledu je tedy entropie určitý aditivní funkcionál na pravděpodobnostních rozděleních. Z pohledu fyziky je entropie klíčová veličina pro formulaci druhého zákona termodynamiky. Tento zákon klade principiální meze pro možnost získat z termodynamické soustavy užitečnou práci. Pojem entropie a druhý zákon termodynamiky může být také uplatněn při řešení otázky, jestli daný proces bude probíhat spontánně. Spontánní procesy v uzavřených soustavách vždy odpovídají nárůstu entropie.

V případě izolovaného systému v rovnováze (Boltzmann) platí:

$S=k_{\mathrm {B} }\ln \Omega \,,$

kde $\Omega \,$ je systému dostupná část fázového prostoru (u stejnocenných mikrostavů se jedná jednoduše o počet rozlišitelných mikrostavů daného makroskopického stavu systému).

Termodynamická entropie

Podíl tepla $Q$ a teploty $T$ bývá označován jako redukované teplo. Při vratném Carnotově cyklu je součet redukovaných tepel roven nule. Vzhledem k tomu, že libovolný vratný cyklus je možné aproximovat elementárními Carnotovými cykly, jejichž redukované teplo lze vyjádřit jako ${\frac {\Delta Q}{T}}$, je možné předchozí tvrzení zobecnit na libovolný vratný cyklus.

Proběhnutí všech elementárních Carnotových cyklů je pak ekvivalentní aproximovanému vratnému ději, což lze vyjádřit jako

$\sum {\frac {\Delta Q}{T}}=0$

Postupným zmenšováním elementárních Carnotových cyklů se v limitě dostaneme k výrazu

$\oint {\frac {\delta Q}{T}}=0$

Tento vztah je označován jako Clausiova rovnice a představuje podmínku, která je platná pro libovolný vratný kruhový děj. Tuto rovnici lze považovat za matematické vyjádření druhého termodynamického zákona: Všechna $\delta Q$ nemohou být kladná, ale některá musí být i záporná. Soustava, která vykonává vratný kruhový děj tedy nemůže od okolních těles teplo pouze přijímat, ale musí jim také nějaké teplo odevzdávat.

Předchozí rovnice umožňuje definovat novou termodynamickou stavovou veličinu - entropii $S$. Její změnu při vratném termodynamickém ději lze vyjádřit pomocí tepla $Q$ dodaného soustavě a její termodynamické teploty $T$ ve formě integrálu

$S_{2}-S_{1}=\int {\frac {\delta Q}{T}}$.

Pro nevratný děj platí Clausiova nerovnost:

$\oint {\frac {\delta Q}{T}}<0,$

zde T označuje místo teploty soustavy teplotu termostatu.

Princip růstu entropie

Entropie je veličina s velkým významem, neboť umožňuje formulovat druhou hlavní větu termodynamiky, a vyjádřit kvantitativně nevratnost tepelných pochodů. Tuto skutečnost vyjadřuje princip růstu entropie.

Za příklad nevratného děje lze považovat pokles závaží spojený s uvolněním jisté potenciální energie. Pokud klesne závaží o určitou výšku $h$ a je zastaveno třením, vykoná práci $W$, při které třením vznikne teplo $Q=W$. Toto teplo je odvedeno do okolí, které lze považovat za těleso s teplotou $T$, a jehož entropie se tím změní o hodnotu $\Delta S={\frac {Q}{T}}$. Předpokládá se přitom, že teplota okolí se přidáním tepla $Q$ nijak znatelně nezmění. Přivedené teplo je kladné, a proto je také změna entropie kladná. Entropie soustavy tedy při tomto nevratném ději vzrostla.

Tepelně izolovaná soustava.

Uvažujme tepelně izolovanou soustavu dvou těles 1 a 2 s teplotami $T_{1}$ a $T_{2}$.

Tělesa si mohou vyměňovat tepelnou energii, přičemž celková hodnota tepelné energie zůstává stálá. Získá-li těleso 2 o teplotě $T_{2}$ teplo $\partial Q_{2}$, musí těleso 1 stejně velké teplo odevzdat, tzn. $\partial Q_{2}=-\partial Q_{1}$. Bude tedy platit $\partial Q_{1}+\partial Q_{2}=0$.

Změna entropie bude

$\mathrm {d} S=\mathrm {d} S_{1}+\mathrm {d} S_{2}={\frac {\partial Q_{1}}{T_{1}}}+{\frac {\partial Q_{2}}{T_{2}}}=\left({\frac {1}{T_{1}}}-{\frac {1}{T_{2}}}\right)\partial Q_{1}={\frac {T_{2}-T_{1}}{T_{1}T_{2}}}\partial Q_{1}$

Z tohoto vztahu je vidět, že pokud mají výraz $T_{2}-T_{1}$ a teplo $\partial Q_{1}$ stejné znaménko, pak $\mathrm {d} S>0$, jinak $\mathrm {d} S<0$. Podle Clausiovy formulace druhé hlavní věty však teplo nemůže samovolně přecházet z tělesa chladnějšího na těleso teplejší. Je-li tedy $T_{2}>T_{1}$, nemůže teplo přejít z tělesa 1 na těleso 2, a proto musí být $\partial Q_{1}>0$, tzn. $\partial Q_{2}<0$. Pokud však $T_{2}<T_{1}$, nemůže teplo přejít z tělesa 2 na těleso 1, takže musí být $\partial Q_{1}<0$, tedy $\partial Q_{2}>0$. V obou případech mají $T_{2}-T_{1}$ a $\partial Q_{1}$ stejná znaménka, což znamená, že v izolované soustavě platí

$\mathrm {d} S>0$

Celková entropie izolované soustavy dvou těles různých teplot tedy roste. Jsou-li teploty dosti blízké, nebo jsou-li tělesa od sebe dostatečně dobře izolována, může být změna entropie libovolně malá. V takové soustavě prakticky nedochází k výměně tepla a soustava je blízká tepelné rovnováze. Děje, které probíhají v takové soustavě, lze považovat za vratné, a jejich entropie se téměř nemění. Při vratném adiabatickém ději může být tedy entropie stálá, avšak nikdy nemůže klesat.

V tepelně izolované soustavě probíhají děje adiabatické. V každé soustavě mohou z počátečního stavu vzniknout různé stavy vratnou nebo nevratnou změnou. Stavy, kterých soustava dosáhne nevratnou změnou, se podle druhé termodynamické věty liší od stavů při vratné změně tím, že z nich soustava sama od sebe bez vnějšího zásahu nemůže přejít zpět do výchozího stavu. Mimoto jsou zde stavy, z nichž lze počátečního stavu soustavy dosáhnout nevratnou změnou. Tyto stavy však soustava nemůže z počátečního stavu dosáhnout bez vnějšího zásahu. Odsud plyne další možné vyjádření druhé hlavní věty termodynamiky: V blízkosti každého stavu soustavy existují stavy, kterých nelze dosáhnout adiabatickým dějem. Takové stavy jsou tedy v izolované soustavě vyloučeny.

Podle Carnotovy věty je účinnost nevratného kruhového děje mezi teplotami $T_{1}$ a $T_{2}$ vždy nižší než účinnost vratného Carnotova cyklu mezi stejnými teplotami. Pokud tedy pracovní látka získá při nevratném ději teplo $Q_{1}$ a odvede teplo $Q_{2}^{\prime }$, bude platit

${\frac {Q_{2}^{\prime }}{Q_{1}}}>{\frac {T_{2}}{T_{1}}}$

Vydané teplo $Q_{2}^{\prime }$ je vlastně záporné přijaté teplo, tzn. $Q_{2}^{\prime }=-Q_{2}$, tzn.

${\frac {Q_{1}}{T_{1}}}+{\frac {Q_{2}}{T_{2}}}<0$

Pokud děj neprobíhá pouze mezi dvěma teplotami, ale při spojitě se měnících teplotách, přejde předchozí součet v limitě na integrál po uzavřené cestě

$\oint _{(nevrat)}{\frac {\partial Q}{T}}<0$

Tento vztah se obvykle zapisuje ve tvaru

$\oint {\frac {\partial Q}{T}}\leq 0$,

kde znaménko rovnosti platí pro vratný kruhový děj. Jde vlastně o vyjádření skutečnosti, že při libovolném kruhovém ději, při němž se teplo mění v mechanickou energii, nemohou být všechna $\delta Q$, která soustava přijímá, kladná, ale některá musí být také záporná. Část tepla tedy musí soustava odvádět, takže se všechno přijaté teplo nezužitkuje pro mechanickou energii. Pokud při nevratném ději působí tření, takže vykonaná práce je menší a v soustavě vzniká třením teplo, je třeba k dosažení výchozího stavu odvádět více tepla než při vratném kruhovém ději, což je vyjádřeno znaménkem nerovnosti.

Pokud se entropie procesu zvyšuje, je tento proces nevratný (ireverzibilní). Pokud zůstává konstantní, je tento proces vratný (reverzibilní), jako například u ideálního Carnotova kruhového děje.

Celková entropie uzavřeného systému se nemůže nikdy zmenšit. V přírodě tedy všechny děje směřují do více neuspořádaného stavu. Stejně tak roste entropie ve vesmíru. Dle předpokladů L. Boltzmana se jeví jako nejpravděpodobnější konečný stav vyrovnání pohybových energií molekul. To znamená, že by se konečné hodnoty entropie ve vesmíru dosáhlo tehdy, kdyby se vyrovnaly veškeré teplotní rozdíly (tepelná smrt vesmíru).

Růst entropie lze pozorovat i v mikroskopickém měřítku.

Informační entropie

Podrobnější informace naleznete v článku Informační entropie.

Informační entropie velmi úzce souvisí s termodynamickou entropií, ačkoliv toto spojení se ukázalo být zřejmé až po mnoha letech nezávislého studia termodynamické entropie a informační entropie. Často je také nazývána Shannonovou entropií po Claude Elwoodovi Shannonovi, který zformuloval mnoho klíčových poznatků teoretické informatiky. Obecně pro systém s konečným počtem možných stavů $S\in \{s_{1},s_{2},...,s_{n}\},n<\infty$ a pravděpodobnostní distribucí $P(s_{i})$ je informační entropie definována jako střední hodnota:

$H(S)=-\sum _{i=1}^{n}P(s_{i})\log _{2}P(s_{i})$

Zde se formálně definuje, že $0\cdot \log _{2}0\equiv 0$.

Entropie je maximální pro rovnoměrné rozložení $P(s_{i})={\frac {1}{n}}{\mbox{ pro }}\forall {i}$:

$H(S)=-\sum _{i=1}^{n}{\frac {1}{n}}\log _{2}{\frac {1}{n}}=-\log _{2}{\frac {1}{n}}=\log _{2}n$,

a minimální pro zcela deterministický systém $\exists P(s_{k})=1{\mbox{ a }}P(s_{i})=0{\mbox{ pro }}\forall {i}\neq k$:

$H(S)=-\sum _{i=1}^{n}P(s_{i})\log _{2}P(s_{i})=-\log _{2}1=0$.

Stručně řečeno je entropie střední hodnota informace jednoho kódovaného znaku. Míra entropie souvisí s problematikou generování sekvence náhodných čísel (případně pseudonáhodných čísel), protože sekvence naprosto náhodných čísel by měla mít maximální míru entropie. Shannonova entropie také tvoří limit při bezeztrátové kompresi dat, laicky řečeno komprimovaná data nelze beze ztráty informace „zhustit“ více, než dovoluje jejich entropie.

Jako jistou míru vzdálenosti mezi dvěma rozděleními pravděpodobnosti lze definovat relativní entropii a to následovně: nechť p = p(x) a q = q(x) jsou dvě rozdělení pravděpodobnosti na množině $\scriptstyle {\mathcal {X}}$ a q(x) > 0 pro všechna $\scriptstyle x\in {\mathcal {X}}$. Pak relativní entropii rozdělení p a q definujeme jako

$D(p\|q)=D(p(x)\|q(y))=\sum _{x\in {\mathcal {X}}}p(x)\log {\frac {p(x)}{q(x)}}.$

Odvození entropie

Podobně jako ve fyzice lze vztah pro entropii odvodit kombinatoricky s použitím Stirlingova vzorce (na levé straně vzorce je počet možných textů nad nějakou abecedou vzhledem k nějakému diskrétnímu pravděpodobnostnímu rozdělení):

$\log {\sqrt[{N}]{N \choose n_{1},\ldots ,n_{k}}}\approx -\sum _{i=1}^{k}p_{i}\log p_{i}$

kde $n_{i}$ je počet výskytů i-tého znaku a $N$ délka textu.

Odkazy

Související články

• Informační entropie
• Entropie aktivace

Externí odkazy

• Obrázky, zvuky či videa k tématu entropie na Wikimedia Commons
• Entropie v encyklopedii MathWorld (anglicky)
• SKÁCEL, Dalibor. Co to je entropie?. Alternativní energie [online]. 2002-03-21. Dostupné online. 

Portály: Informační věda a knihovnictví | Fyzika

Autoritní data	NKC: ph119950 PSH: 3262 BNE: XX528989 BNF: cb12099111d (data) GND: 4014894-4 LCCN: sh85044150 NDL: 00562019 NLI: 987007550784605171