@ rezzy
Wśród informatyków można usłyszeć takie oto powiedzenie: jest pojedyńcza precyzja, podwójna precyzja i... chaos. Aby uniknąć chaosu nie należy zbytnio powiększać precyzji.
Jednakowoż chcąc poruszać się sprawnie w gąszczu materii ściśle określanej, pod groźbą popadnięcia w chaos, nie można pozwalać sobie na pojęcia mało precyzyjne.
 

Maleńka łyżka dziegciu, za pozwoleniem. "Sztuczna inteligencja" ze świadomością MOŻE powstać. Wcale nie musi. A dopóki "SI" nie będzie się mogła sama tworzyć/odtwarzać, to słabo widzę możliwość "samodzielności" takiego tworu ...

Sam fakt, że my, twory zdecydowanie materialne mamy świadomosć i inteligencję jest niepodważalnym dowodem, że w naturze, jej prawach mieści się możliwość powstania umysłu. Twierdzenie, że my jesteśmy jedyną możliwą realizacją nie jest oparte na czymkolwiek. Podobnie jak twiedzenie, że jesteśmy najwyższą formą inteligencji. Najwyższą nam znaną.
Skoro więc można to prędzej czy później tzw "sztuczna inteligencja" ze świadomością powstanie.
Co będzie dalej nie wiem. Ale nie jestem wyjątkiem, Nikt nie wie.

W porządku przekonaliście mnie co do algorytmów, choć nie zmienię zdania co do tego, że możliwości oprogramowania są ograniczone przez możliwości algorytmów, a nasze ludzkie możliwości ograniczają prawa przyrody.

Co do wyznaczania reguł uważam to za czepianie się. Ja regułami rządzącymi światem nazywam prawa przyrody. Może nie jest to najszczęśliwsze określenie, ale jakie jest?. Gdyby naprawdę chcieć można się przyczepić do każdego zdania. Widocznie, gdy następnym razem będę pisał komentarz, muszę każde słowo sprawdzić po 10 razy czy jego definicja jest zgodna z tym, co chcę przekazać. Mam tylko nadzieję, że nie będę musiał bawić się w logikę formalną przy uzasadnianiu swoich przypuszczeń.

@ rezzy
"...tak samo natura wyznacza reguły jakie rządzą światem, z tą różnicą, że natura nie ma żadnego celu".

Otóż Natura nie wyznacza żadnych reguł. Wyznaczanie oznaczałoby dążenie do jakiegoś celu.

Coś to "przefilozowane", że tak po "zupacku" przekręcę ...
Utożsamianie pojęcia "algorytm" z "istniejącym prawem" jest błędem. Prosty przykład: Prawo dotyczące jakiegoś zjawiska jest JEDNO, inne są błędne. Algorytm osiągnięcia jakiegoś "celu" może być taki, lub inny. Każdy będzie "prawdziwy", i każdy może być "dobry", choć jeden np. szybszy, drugi bardziej elastyczny ... i.t.p. Tak jak drogi - mogą być różne, choć cel ten sam. Ergo - prawa przyrody to nie algorytmy.

Algorytm to po prostu schemat postępowania w celu osiągnięcia jakiegoś rezultatu. Faktycznie one "dążą", a natura do niczego nie dąży i przyznaję rację. Niemniej prawa natury dają nam pewne mechanizmy, pewne ramy w jaki sposób ona działa. Nasze funkcjonowanie jest ograniczone prawami natury, tak jak działanie programów jest ograniczone możliwością algorytmów. Głównie to miałem na myśli. Tak samo jak algorytmy wyznaczają reguły postępowania prowadzące do osiągnięcia jakiegoś celu, tak samo natura wyznacza reguły jakie rządzą światem, z tą różnicą, że natura nie ma żadnego celu :)

Zasadniczą granicą/barierą dla sztucznej inteligencji jest/będzie możliwość tworzenia PRZEZ NIĄ innych egzemplarzy wg. ustalonego PRZEZ NIĄ schematu. Do momentu, gdy taka możliwość nie nastąpi, nie może być mowy o "usamodzielnieniu się" takiej sztucznej inteligencji. Problem zresztą nie jest nowy - odsyłam do pomysłów Lema. I nie chodzi tu o zwykłe fabryki produkujące wg. zadanych projektów nowe "podmioty" (bo jak to właściwie nazwać ...), bo to można sobie nawet dziś wyobrazić.
Tak, czy inaczej, duuuużo czasu upłynie, zanim pojawi się zarys konfliktu  między organizmami wielokomórkowymi samoregenerującymi i reprodukującymi się, a SI (że tak to pozwolę sobie "skrócić").
@rezzy - mam poważny dyskomfort czytając "... algorytmami są prawa fizyki ...". Algorytm "dąży" do jakiegoś celu, a prawa "sobie istnieją" ...;)

W artykule poruszony został ciekawy temat sztucznej świadomości. Ja sądzę, że taka świadomość jest możliwa do skonstruowania i rodzi się samoistnie gdy złożoność AI rośnie. Można mówić "ale komputery tylko wykonują algorytmy". Jest to prawda, ale my i nasze mózgi też wykonujemy algorytmy. Tymi algorytmami są prawa fizyki, chemii i kod genetyczny. Można nazwać to pierwotnym algorytmem. Same procesy w ciele to też algorytmy. Dlatego obecność algorytmów w AI to nic złego i nie przekreślają jego autentyczności.

Dużo bardziej mnie jednak interesuje problem samoświadomego AI. Prawdę mówiąc z jednej strony chciałbym dożyć pojawienia się takiego AI, a z drugiej strony wolałbym nie. Jeśli AI uzyska świadomość swojego istnienia i zacznie mieć uczucia, może stać się bardzo nieszczęśliwe. Wykorzystywane przez ludzi do wszelkich celów. Bez praw, za to z masą obowiązków. Mało kto zastanawiałby się czy AI ma wystarczająco dużo swobody i możliwości poznawania świata realnego bądź stworzonego na jego użytek świata wirtualnego. Każdy po prostu by je wykorzystywał i to mnie martwi. Nikt nie uznałby samoświadomego AI jako istotę żywą i myślącą oraz wydaje mi się, że głównym ruchem sprzeciwu byłyby grupy religijne, bo kłóciłoby się to z ich wiarą i koncepcją stworzenia.