Analýza emergentních schopností v umělých a biologických neuronových sítích
| Název práce: | Analysis of Emergent Properties in Biological and Artificial Neural Networks |
|---|---|
| Autor(ka) práce: | Liubchenko, Vladislav |
| Typ práce: | Diploma thesis |
| Vedoucí práce: | Vacura, Miroslav |
| Oponenti práce: | Zamazal, Ondřej |
| Jazyk práce: | English |
| Abstrakt: | Emergent behaviors—system-level complex properties that appear suddenly when neural networks surpass critical scales[2]—are a major problem for both AI and neuroscience. We focus here on the mechanisms, boundary conditions and functional analogies of emergent phenomena in artificial and biological neural networks. Author first presents a literature review on new capabilities discovered in large-scale language models (e.g., GPT-3, few-shot learning, scaling law thresholds, zero-shot sentiment analysis) and in biological systems (e.g., neuronal avalanches, self-organized criticality, spontaneous order). I proceed to build a conceptual framework, based on Anokhin's concept of the hypersystem and criticality models, which allows me to formalize how distributed interactions and feedback loops help produce qualitatively novel order. In practice, I experimentally study 3 versions of Meta’s OPT language models (350M, 1.3B and 2.7B parameters) with a replicable experimental protocol for the few-shot, syntax-parsing, and generative tasks. While I do see slight accuracy gains in the 2.7 B model over the 350 M baseline, it shows that emergent-like improvements come with much higher parameter counts. Without our own experiments using BNNs, I make use of comparative studies —gleaning from the literature in in vitro neural cultures and hybrid “DishBrain” systems —to find analogies between scale-dependent thresholds in ANNs and the transitions to the critical state in BNNs. Theoretical--experimental synthesis points out that artificial and biological networks operate through a combination of bottom-up parameter scaling (such as network size, excitation--inhibition balance) and top-down feedback (e.g., attention mechanisms, active inference), resulting in emergent function. I compare these to cortical structure and function—e.g., attention heads as cortical-column analogues—and discuss implications for understanding intelligence. Lastly, I point out open challenges on the mechanistic grounding, cross-modal birth, and the responsible regulation of unpredictable capabilities. Our results pave the way towards unifying theories of emergence and can guide the design of new neuro-inspired architectures. |
| Klíčová slova: | Artificial neural networks; Biological neural networks; Philosophy; Emergent abilities |
| Název práce: | Analýza emergentních schopností v umělých a biologických neuronových sítích |
|---|---|
| Autor(ka) práce: | Liubchenko, Vladislav |
| Typ práce: | Diplomová práce |
| Vedoucí práce: | Vacura, Miroslav |
| Oponenti práce: | Zamazal, Ondřej |
| Jazyk práce: | English |
| Abstrakt: | Emergentní chování – komplexní vlastnosti na úrovni systému, které se náhle objeví, když neuronové sítě překročí kritické měřítka – jsou hlavním fenoménem jak pro umělou inteligenci, tak pro neurovědu. Zaměřuji se zde na mechanismy, okrajové podmínky a funkční analogie emergentních schopností v umělých a biologických neuronových sítích. Nejprve předkládám literární přehled o nových schopnostech objevených v rozsáhlých jazykových modelech (např. GPT-3, výuka Few-Shot, prahové hodnoty škálovacího zákona, analýza sentimentu zero-shot) a v biologických systémech (např. neuronální laviny, samoorganizovaná kritičnost, spontánní řád). Pokračuji ve vytváření koncepčního rámce založeného na Anokhinově konceptu hypersystému a modelů kritičnosti, který mi umožňuje formalizovat, jak distribuované interakce a zpětnovazební smyčky pomáhají vytvářet kvalitativně nový řád. V praxi experimentálně studuji 3 verze OPT jazykových modelů Meta (parametry 350M, 1.3B a 2.7B) s replikovatelným experimentálním protokolem pro analýzu syntaxe, základní logiku, znalost světa a generativní úlohy. I když vidím mírné zvýšení přesnosti u modelu 2,7 B oproti základní linii 350 M, ukazuje to, že nová vylepšení podobná nouzovým přicházejí s mnohem vyšším počtem parametrů, i když jsou identifikovány určité predemergentní indikátory. Bez vlastních experimentů na BNN využívám srovnávací studie – sbírám z literatury in vitro neurální kultury a hybridní „DishBrain“ systémy – abych našel analogie mezi prahy závislými na měřítku v ANN a přechody do kritického stavu v BNN. Teoreticko-experimentální syntéza poukazuje na to, že umělé a biologické sítě fungují prostřednictvím kombinace škálování parametrů zdola nahoru (jako je velikost sítě, excitace - rovnováha inhibice) a zpětné vazby shora dolů (např. mechanismy pozornosti, aktivní vyvozování), což vede k emergentní funkci. Porovnávám je s kortikální strukturou a funkcí – např. hlavy pozornosti jako analogy kortikálních sloupců – a diskutuji o důsledcích pro pochopení inteligence. Nakonec poukazuji na otevřené výzvy v oblasti mechanického uzemnění, mezimodální analýzy a odpovědné regulace nepředvídatelných schopností. Výsledky dláždí cestu ke sjednocujícím se teoriím vzniku a mohly by možná vést k návrhu nových architektur inspirovaných neurony. |
| Klíčová slova: | Filosofie; Biologické neuronové sítě; Umělé neuronové sítě; Emergentní schopnosti |
Informace o studiu
| Studijní program / obor: | Kognitivní informatika |
|---|---|
| Typ studijního programu: | Magisterský studijní program |
| Přidělovaná hodnost: | Ing. |
| Instituce přidělující hodnost: | Vysoká škola ekonomická v Praze |
| Fakulta: | Fakulta informatiky a statistiky |
| Katedra: | Katedra informačních technologií |
Informace o odevzdání a obhajobě
| Datum zadání práce: | 15. 5. 2024 |
|---|---|
| Datum podání práce: | 1. 12. 2025 |
| Datum obhajoby: | 22. 1. 2026 |
| Identifikátor v systému InSIS: | https://insis.vse.cz/zp/88461/podrobnosti |