Spisu treści:
Definicja - Co oznacza analiza leksykalna?
Analiza leksykalna to koncepcja stosowana w informatyce w bardzo podobny sposób, jak w przypadku językoznawstwa. Zasadniczo analiza leksykalna oznacza grupowanie strumienia liter lub dźwięków w zestawy jednostek reprezentujących znaczącą składnię. W lingwistyce nazywa się to parsowaniem, aw informatyce - parsowaniem lub tokenizacją.
Techopedia wyjaśnia analizę leksykalną
Idea analizy leksykalnej w informatyce polega na tym, że analiza leksykalna dzieli strumienie na „leksemy”, w których token reprezentuje podstawową jednostkę znaczenia. Tokeny są łączone razem w taki sposób, że kompilator języka musi wrócić i odizolować je, aby wdrożyć odpowiednie instrukcje obliczeniowe. Zasadniczo zarówno ludzie, jak i komputery przeprowadzają analizy leksykalne, ale komputery robią to inaczej i w dużo bardziej techniczny sposób. Sposób, w jaki komputery wykonują analizę leksykalną, nie musi być przejrzysty dla ludzi - wystarczy zaprogramować w systemie komputerowym. Programy wykonujące analizy leksykalne w informatyce są często nazywane leksykonami, tokenizatorami lub skanerami.
