Monday, October 30, 2017

Windows 10: Bring restart button back (English)

В одном из апдейтов Microsoft почему-то решило убрать кнопки restart и shutdown. Порывший в интернете я не нашёл никаких стандартных средства (включая редактирования реестра). Решение, которое я нашёл использует сторонний продукт:

1. Install Ultimate Windows Tweaker

http://www.thewindowsclub.com/ultimate-windows-tweaker-4-windows-10


2. Customization ->Windows 10 check Shoц Hibernate, Show Sign Out, Show Sleep, Show Lock.

3. Restart.

4. Have fun.

עושים היסטוריה 204, 205: למידה עמוקה (Deep Learning) – המחשב והמוח (Hebrew, 2016)

mp3 part1

mp3 part2




הערה:
עף על פי שפרק הזה הוקלט רק לפני שנה קרתה התפחות מאז.
היום יותר ויותר חברות מריצות את הרשתות ניורניות שלהם לא על
GPU
אלא בונות שבב יועדי בשביל זה.


As Google, Facebook, Microsoft, and other internet giants build more and more services using deep neural networks, they’ve all needed specialized chips both for training and executing these AI models. Most companies train their models using GPUs, chips that were originally designed for rendering graphics for games and other highly visual applications but are also suited to the kind of math at the heart of neural networks. And some, including Microsoft and Baidu, the Chinese internet giant, use alternative chips when executing these models as well, much as Google does with the TPU.
http://www.toalexsmail.com/2017/04/googles-tpu-chip-helped-it-avoid.html


האם ניתן ללמד מחשב...ללמוד?
צמד המילים 'למידה עמוקה' מלווה כמעט כל פריצת דרך טכנולוגית בשלוש השנים האחרונות – מטכנולוגיית זיהוי הפרצופים של פייסבוק ועד המכונית האוטונומית של גוגל. בפרק זה נשמע על ההיסטוריה של רשתות נוירונים מלאכותיים, ונבין את העקרונות שמאחורי למידה עמוקה.
...
בשנים האחרונות הפכה 'למידה עמוקה' ל-Buzzword בעולם הטכנולוגיה, וכל חברה שניה מתאמצת לשלב את רשתות הנוירונים המלאכותיים במוצריה. אך האם למידה עמוקה היא פריצת דרך מהותית, או רק התלהבות אופנתית וקצרת מועד? בפרק זה נשמע על התגלית שאפשרה את הזינוק המטאורי בתחום הבינה המלאכותית, ועל האתגרים שמולם ניצבת טכנולוגיה מרתקת זו.
...

https://www.ranlevi.com/2016/11/09/ep204_deep_learning_part1/
https://www.ranlevi.com/2016/11/25/ep205_deep_learning_pt2/


Ниже есть продолжение.




למידה ממוחשבת

ניסיתם פעם ללמד את הילד שלכם לרכוב על אופניים? אם כן, אז אתם ודאי יודעים שמדובר במשימה מתסכלת ביותר. יש לי שלושה ילדים, ואני מחשיב את עצמי כמומחה בעל שם בכל השיטות המסורתיות ללימוד רכיבה על אופניים: שיטת ה'ריצה עם מקל מטאטא', שיטת 'משוך בחבל עד שהילד מתרסק', ושיטת 'מחיאות כפיים וקריאות עידוד מרחוק כי אבא באפיסת כוחות.' שימו לב ששאלתי במפורש אם ניסיתם ללמד את 'הילד שלכם' – כי השיטה היחידה שעובדת, מניסיוני, היא שיטת 'תן לשכן ללמד את הילד.' השכן יגיע, ייתן לילד טפיחה ידידותית על השכם ויגיד לו – 'קדימה, סע.' בעוד שלאבא אפשר לקטר ולהתלונן, לשכן, אתם יודעים – לא נעים. אז הילד יישב על הכסא, ידחוף את הפדלים – וייסע. זה הכול.

מה שאני מנסה לומר הוא שאיננו מלמדים את הילדים שלנו לנסוע על האופניים. גם השכן אינו מלמד אותם. ילדים לומדים לנסוע על אופניים לבד: מקל מטאטא, חבל או מחיאות כפיים אינם מסבירים להם איך שומרים על שיווי משקל כשרוכבים במהירות על גוש מתכת עם שני גלגלי גומי: זה משהו שהמוח, בסופו של דבר, מבין לבד. הורים מנוסים יודעים שלפעמים ההפך הוא הנכון: אם אתה מחזיק את הילד ועוזר לו לשמור על שיווי משקל – אתה עשוי דווקא להפריע לו ללמוד לשמור על שיווי משקל בעצמו.

השאלה שתעמוד במרכז פרק זה היא כיצד אפשר לגרום למחשב ללמוד לבד. דהיינו, האם ניתן לתת למחשב משימה כלשהי ואת המידע הדרוש כדי לבצע אותה, והמחשב יילמד בכוחות עצמו איך לבצע אותה – באותו אופן שילד לומד לבד לרכב על אופניים?

לשאלה זו יש חשיבות מעשית אדירה. יש משימות שקל יחסית לתכנת מחשבים לבצען: למשל, כל מה שצריך לעשות כדי להשמיע שיר זה לבצע סדרה של פעולות ברורות ומוגדרות היטב כגון לפתוח את הקובץ, לקרוא את המידע האגור בתוכו ולנגן או להפסיק את ההשמעה בתגובה ללחיצת כפתור של המשתמש. אבל יש משימות מורכבות בהרבה, שעבורן קשה הרבה יותר לנסח עבור המחשב כללים ופקודות שמגדירים לו במפורש מה הוא צריך לעשות בכל רגע נתון. למשל, אם נרצה שמחשב יוכל להזריק באופן עצמאי תרופות לחולים – למשל, לאדם מבוגר שמתקשה לעשות זאת בכוחות עצמו – נצטרך לקחת בחשבון גורמים רבים שעשויים להשפיע על פעילות המחשב. למשל: האם מצבו הרפואי של המטופל מתאים לתרופה מסוימת אבל לא לתרופה אחרת? האם משהו שאכל המטופל בארוחת הצהריים ישפיע על התגובה שלו לתרופה? אולי יש לו חבורה כואבת בזרוע וכדאי להזריק במקום אחר? האינטראקציה בין המוני הגורמים הללו מורכבת כל כך, ולכן בדרך כלל איננו מסוגלים 'להסביר' למחשב מה אנחנו מצפים שיעשה בכל רגע נתון. במקרה כזה, אין לנו ברירה אלא להשאיר את תהליך קבלת ההחלטות בידיהם של בני אדם שהוכשרו לשם כך. מחשב שיוכל ללמוד – או במילים אחרות, מחשב שיוכל לנסח בעצמו את הכללים לביצוע משימה על סמך דוגמות שיציגו בפניו – יוכל לסייע לנו באינספור תחומים שעד כה היו חסומים בפני המחשב, מרפואה ונהיגה ועד חקר החלל. לימוד באמצעות דוגמות עשוי להתאים מאוד לפתרון בעיות שקשה לפתור באמצעות הגדרת רצף של צעדים. למשל, קל להגדיר בתוכנה סדרת צעדים לפתרון משוואה מתמטית – אבל קשה הרבה יותר להגדיר סט של כללים שמאפשר לזהות פרצוף של אדם: לימוד באמצעות מתן מספר רב של דוגמאות לפרצופים אנושים שונים ומשונים עשוי להיות פיתרון נוח יותר.
המוח כמכונה

לפני שאגע בשאלה כיצד ניתן לגרום למחשב ללמוד, תרשו לי לפתוח בשאלה בסיסית אפילו יותר: האם מחשב בכלל מסוגל לחקות משהו מתוך מה שאנחנו רואים כ'מחשבה אנושית'? למשל, היכולת להסיק מסקנות, להעלות רעיונות וכו'.

הפילוסוף הצרפתי רנה דקארט (Descartes), בן המאה השבע עשרה, היה מהוגי הדעות הראשונים שניסו לעמוד על ההבדל העקרוני בין בני אדם ומכונות. דקארט טען שבאופן עקרוני, אפשר להסביר כל הבט מפעולתו של הגוף האנושי במונחים מכניים: הלב כמשאבה, הריאות כמפוח וכדומה. דהיינו, הגוף הוא מעין מכונה מתוחכמת ולא יותר. את המוח לעומת זאת, טען דקארט, אי אפשר להסביר במונחים מכניים שכאלה. המחשבה שלנו, הדיבור והיכולת להסיק מסקנות – אלו תופעות שונות כל כך מאלו שמכונות מסוגלות לבצע, עד שאי אפשר להסביר אותן במונחים הנדסיים, וחובה עלינו להשתמש במונחים כמו 'נשמה', 'שכל' או כל מונח ערטילאי דומה שנבחר בו.

המצאת המחשב בשלהי המחצית הראשונה של המאה העשרים הטילה צל כבד על השערה זו. המחשב, נזכור, הוא בבסיסו מכונה שמבצעת סדרה ארוכה של פעולות מתמטיות. המתכנת מגדיר למחשב מהו רצף הפעולות שעליו לבצע כדי לבצע משימה כלשהי – למשל, פתרון משוואה מתמטית או לצייר תמונה על המסך – והמעבד מבצע את הפקודות בזריזות. ברור שהמחשב אינו 'חושב' במובן האנושי של המילה: הוא אינו פותר את המשוואה ואינו מצייר את תמונה – הוא בסך הכל מכונה שמבצעת רצף פקודות. אבל כלפי חוץ, זה בהחלט נראה כאילו המחשב פתר את המשוואה וצייר את התמונה. אם היינו מראים את המחשב לבן שבט שיצא זה עכשיו מיערות האמזונס בפעם הראשונה בחייו, יכול להיות שהוא היה מנסה לפתוח את הקופסה של המחשב כדי לחפש את הגמד הקטן שמפעיל אותה!

המצאת המחשב גרמה למדענים רבים להטיל ספק ברעיון של 'שכל' או 'נשמה' נפרדים, באופן כלשהו, מהרקמה האפורה שמסתתרת לנו בין האוזניים. אם מכונה פשוטה יחסית כמו מחשב יכולה להיראות כאילו היא פותרת בעיה – האם לא ייתכן שהמוח שלנו הוא בעצמו סוג של מכונה שמבצעת חישובים? במילים אחרות, האם ייתכן שמוחנו אינו יותר מאשר מכונה מורכבת מאוד, ושכל המחשבות והרעיונות שלנו הם בסך הכל תוצאה של החישובים הללו? אם השערה זו תתברר כנכונה, אזי ייתכן מאד שהתשובה לשאלה שהעליתי קודם היא: כן, ניתן לבנות מחשב שיבצע את החישובים הנדרשים ובכך יחקה את פעולתו של המוח האנושי.
הנוירונים

כדי לנסות ולבנות מכונה שכזו, האינסטינקט הראשוני של החוקרים היה לפנות אל הביולוגיה ואל מדעי המוח. התקדמויות בתחום הנויורולוגיה והפיזיולוגיה של המוח סיפקו להם השראה למכביר. לאורך המאה העשרים חשפו חוקרי המוח מנגנונים ביולוגיים רבים שעומדים בבסיס פעילותו של המוח. עם הזמן החלו המדענים להבין את חשיבות הנוירונים, תאי העצב שמהם עשוי המוח.

איך עובדים הנוירונים? הנוירונים הם תאים זעירים בעלי זרועות ארוכות שמתחברים זה לזה ומעבירים ביניהם מידע באמצעות זרמים חשמליים. לכל נוירון יש מספר כניסות, והוא מקבל 'פולסים' חשמליים מנוירונים אחרים. בתגובה לפולסים אלה, הנוירון מפיק פולס חשמלי משלו ביציאה. אפשר לדמות זאת לאב עייף שיושב על הספה וקורא עיתון. שלושת ילדיו המשועממים מציקים לו, וצובטים אותו מדי פעם: אלו הם הפולסים החשמלים שנכנסים לנוירון. אם הצביטות חזקות מספיק, הם גורמות לאב לצעוק 'נו, די!' – באנלוגיה שלנו זהו הפולס החשמלי שהנוירון יורה במוצאו. טריליוני החיבורים שבין מיליארדי תאי העצב והפולסים שהם מעבירים ביניהם מהווים, בדרך נסתרת כלשהי, את התשתית לכל הפעילות המוחית שלנו – מרכיבה על אופניים ועד דיבור.

בשנת 1949 חשף חוקר בשם דונלד הב (Hebb) את אחד מעקרונות היסוד החשובים ביותר של המוח: הדרך שבה מתחוללת למידה. הב גילה שאם נוירון א' ונוירון ב' מחוברים ביניהם, ונוירון א' יורה פולסים חשמליים לאורך זמן – נוירון ב' יתחיל לירות פולסים ביעילות גבוהה יותר. דהיינו – מתרחש כאן תהליך שבו ירי הפולסים הבלתי פוסק של נוירון א' יגרום לכך שנוירון ב' ילמד שהמידע שמגיע מנוירון א' הוא מידע חשוב ויש להגיב עליו באמצעות ירי של פולס משלך בתגובה. באנלוגיה שלנו, יכול להיות שהאב ילמד שהצביטות של הבן האמצעי שלו, שלא גזר ציפורניים מאז הברית, פחות או יותר, כואבות הרבה יותר מהצביטות של שאר הילדים – ולכן יצעק לו 'נו, די' כשהילד רק נכנס לסלון.
הפרספטרון

התובנה הזו העניקה השראה לפסיכולוג בשם פרנק רוזנבלט (Rosenblatt), מומחה לקוגניציה מאוניברסיטת קורנל שבארצות הברית. בשנת 1958 הגה רוזנבלט רכיב חשמלי מסוג חדש שכונה 'פרספטרון' (Perceptron, מלשון 'Perception', תפיסה).

פרספטרון של רוזנבלט היה מעין 'נוירון מלאכותי': מודל מופשט של הנוירון האנושי. היו לו מספר כניסות שקיבלו ערכים בינאריים – 0 או 1 – ויציאה אחת שיכולה גם היא להפיק 0 או 1. אם מספיק כניסות לפרספטרון קיבלו את הערך '1' – או בהמשך לאנלוגיה הקודמת שלנו, אם מספיק ילדים צבטו את אבא – הפרספטרון הפיק '1' במוצאו.

הפרט המעניין הוא שרוזנבלט מצא דרך לדמות את תהליך הלמידה שתיאר הנוירולוג הב.
דמיינו לעצמכם את הפרספטרון כקופסא שחורה ואטומה, עם מספר כניסות ויציאה אחת – ושלכל כניסה יש חוגה שאפשר לסובב, ובכך לקבוע שלכניסה זו יש משקל גבוה יותר בהחלטה של הפרספטרון אם להוציא 1 או לא. סובבו את החוגה עד הסוף ימינה – ועכשיו כל 'פיפס' קטן בכניסה גורם לפרספטרון לפעול. זה כאילו שלימדנו את הפרספטרון שהכניסה הזו חשובה מאוד, ואסור להתעלם ממנה. סובבו אותה עד הסוף שמאלה – ועכשיו הפרספטרון למד שהכניסה הזו לא חשובה כלל: לא משנה מה מתרחש בה, הפרפסטרון לא יגיב. המשקלים בכניסות הפרספטרון מדמים את עוצמת הקשרים שנוצרים בין נוירונים ביולוגיים במוח.

רוזנבלט הקים במעבדתו מכשיר שהכיל כמה פרספטרונים שכאלה מחוברים זה לזה במעין רשת של 'נוירונים מלאכותיים', וחיבר את הכניסות שלהם לארבע מאות קולטני אור. רוזנבלט הציב מול קולטני האור אותיות, ספרות וצורות גאומטריות – ובאמצעות כיוונון עדין של המשקולות בכניסות הפרספטרונים הצליח רוזנבלט 'ללמד' אותם לזהות את הצורות ובתגובה להפיק במוצאם אותות שאומרים – 'זו האות A' או 'זה מרובע'.
כיצד עשה זאת? באמצעות חיזוק או החלשת הקשרים שבין הפרספטרונים: בכל פעם שהפרספטרונים לא זיהו נכון צורה כלשהי, הוא שינה מעט את המשקולות בכניסה – אם תרצו, שיחק קצת עם החוגות – עד שכל פרספטרון 'למד' שצירוף מסוים של כניסות הוא A, צירוף אחר הוא B וכדומה. המשחק עם המשקולות הוא דרך לתקן את השגיאות של המערכת, לומר לה – 'מה שעשית עכשיו היה לא נכון. הנה הדרך הנכונה לעשות זאת."
למידה מתוך דוגמאות

כדי להבין את חשיבות הניסוי של רוזנבלט, עלינו לחדד את ההבחנה העקרונית שבין אופן פעולת הפרספטרונים של רוזנבלט לבין תכנת מחשב 'רגילה'. תכנה היא רצף של פקודות שהוגה המתכנת האנושי: אם המתכנת רוצה לגרום למחשב לזהות מרובע, למשל, עליו לנסח עבורו כללים שמגדירים לו במפורש כיצד נראית צורה בעלת ארבע צלעות.

הלמידה של הפרספטרונים, לעומת זאת, לא התרחשה באמצעות הגדרה של כללים – כי אם באמצעות הצגה של מגוון דוגמות לריבועים, וחיזוק או החלשת הקשרים בין הפרספטרונים עד שנמצא צירוף ערכי המשקולות בכניסה לכל פרספטרון שמאפשר למערכת כולה לזהות מרובע.

אלו שתי גישות שונות לחלוטין לפתרון בעיית זיהוי צורות: בראשונה אנחנו מכתיבים למחשב כללים לפתרון הבעיה, למשל – "אם לצורה יש ארבע צלעות, אז היא מרובע." בשניה, אנחנו מספקים לו דוגמאות של מרובעים וסדרה של צעדים פשוטים שאם יבצע אותם, ילמד לזהות מרובעים. שימו לב שבאף שלב לא הגדיר רוזנבלט לפרספטרונים כמה צלעות יש למרובע. הוא רק שיחק עם החוגות ימינה-שמאלה-ימינה-שמאלה, עד שהמערכת 'למדה' להכיר מרובעים. גישה זו, של לימוד מתוך דוגמאות, קרובה מאד לדרך שבה בני אדם רוכשים כישורים רבים: למשל, הורים מלמדים את ילדיהם לזהות מרובע על ידי כך שהם שמצביעים להם על מרובע ואומרים 'מרובע' שוב ושוב ושוב, או מצביעים על צורה ושואלים אותו 'מה זה?'. אם הילד טועה, ההורה מתקן אותו: לא – זה מרובע. כך, עד שהילד – ורשת הנוירונים המלאכותיים – תופסים את העניין.
התלהבות

ההצלחה המדהימה של רוזנבלט היכתה גלים בעולם המחקר הצעיר של הבינה המלאכותית: הייתה זו הדגמה ראשונה מסוגה לרעיון העקרוני שלפיו ניתן לבנות מכונה שמסוגלת ללמוד מתוך מתן דוגמאות. רוזנבלט גם הדגים שפרספטרונים מסוגלים לבצע פעולות לוגיות כגון AND, OR ו-NOT, שנמצאות בבסיס חישובים לוגיים רבים. אמנם אב הטיפוס שבנה רוזנבלט היה גדול, מסורבל מאד ומורכב ביותר – אבל הוא עבד, ולא היה כל ספק שניתן יהיה לשפר אותו ולשכלל אותו בעתיד כדי שיכיל פרספטרונים נוספים שיבצעו משימות מורכבות הרבה יותר.

התלהבות אחזה בחוקרים רבים שהאמינו שמכאן קצרה הדרך עד שנצליח לבנות מחשבים בעלי בינה מלאכותית. הרי אם יש לנו אבני הבניין עקרוניות, הנוירונים המלאכותיים – אזי זו רק שאלה של זמן עד שנצליח לבנות בעזרתם מחשבים שיהיו מסוגלים ללמוד לבצע פעולות מורכבות ומסובכות כמו אלו שמבצעים בני אדם! כותרות העיתונים שבישרו על ההצלחה הזו שיקפו את ההתלהבות הזו. ביולי 1958, סיפר ה"ניו-יורק טיימס" לקוראיו על המחקר של רוזנבלט, שנערך במימון הצי, במילים הבאות –

"מכשיר חדש של הצי לומד באמצעות עשייה! הצי חשף היום את אב הטיפוס הראשוני של מחשב אלקטרוני שעל פי הציפיות יהיו מסוגל ללכת, לדבר, לראות, לכתוב, לשכפל את עצמו ולהיות מודע לעצם קיומו."

רוזנבלט עצמו אמר באותו הראיון כי הוא מאמין שבעתיד יוכלו מכונות אלה לטוס במרחבי מערכת השמש ולבצע פעולות שונות בכוחות עצמן. חוקרים אחרים שיערו שהמחשבים בעלי הבינה המלאכותית יוכלו בעוד מספר שנים לתרגם באופן מיידי מרוסית לאנגלית ולהפך, ובכך יתרמו לסיום המלחמה הקרה. ההייפ לגבי הבינה המלאכותית היה בשיאו, ואלפי מחקרים ומאמרים אקדמיים הוקדשו לפרספטרונים ולפוטנציאל הטמון בהם.
מרווין מינסקי

אבל היו חוקרים שלא נסחפו בהתלהבות הכללית. כאן המקום לקחת צעד אחורנית ולהתבונן בתמונה הרחבה יותר של המחקר בתחום הבינה המלאכותית. לאורך השנים פותחו כמה וכמה גישות שונות לפתרון השאלה – כיצד ניתן לגרום למחשב להפגין התנהגות אינטליגנטית. יש חוקרים המעדיפים שיטות המבוססות על לוגיקה, אחרים מעדיפות שיטות המבוססות על חישובים סטטיסטיים וישנן עוד כמה וכמה גישות נוספות. לא נסקור את כל הגישות הללו לעומקן במסגרת הפרק הזה, אך אציין רק שאין תמימות דעים בין החוקרים לגבי איזו גישה עדיפה באופן מוחלט על גבי האחרות. ספציפית לענייננו, בשנות השישים והשבעים חוקרים לא מעטים האמינו שהניסיון לחקות את המנגנון הביולוגי של המוח לא יביא אותנו למחשבים בעלי בינה מלאכותית. מדוע? מאותה הסיבה שמהנדסי מטוסים לא מנסים לחקות את דרך תעופת הציפורים. אם יש יותר מדרך אחת לפתור בעיה מסוימת, הדרך הביולוגית היא לאו דווקא הדרך הפשוטה והקלה ביותר, מבחינה הנדסית.

אחד מאותם חוקרים ספקנים היה מרווין מינסקי (Minsky), מתמטיקאי אמריקני שנחשב לאחד החלוצים הגדולים בתחום הבינה המלאכותית. הוא למד באוניברסיטת פרינסטון היוקרתית לצד אלברט איינשטיין וג'ון פון ניומן, אבי המחשב המודרני, הוא שיתף פעולה עם ג'וזף ליקליידר הוגה האינטרנט, והקים באוניברסיטת MIT את המעבדה לבינה מלאכותית שנחשבת לאחת המעבדות היוקרתיות בעולם הטכנולוגיה.

מינסקי לא האמין בפרספטרון. הוא ורוזנבלט ניהלו ביניהם ויכוחים מרים שבהם טען מינסקי בעקשנות שרוזנבלט מפריז בהערכתו לגבי יכולותיו של הפרספטרון, ושיהיה זה בלתי אפשרי לבנות בעזרתו בינה מלאכותית שתוכל לבצע את כל הניסים והנפלאות שמילאו את כותרות העיתונים.

התנגדותו של מינסקי נבעה מהעובדה שלפרספטרון של רוזנבלט לא היה בסיס תאורטי איתן, או במילים אחרות – לא הייתה תאוריה מתמטית שהסבירה איך צריך לכוון את המשקולות בכניסות לפרספטרון כדי לגרום לו לבצע משימה כלשהי. רוזנבלט, נזכור, היה פסיכולוג ולא מתמטיקאי, אבל חוסר ההכשרה הפורמלית לא מנעה ממנו לנבא באופן גורף שלא משנה מה יהיה הקלט לפרספטרון – תמיד נוכל למצוא צירוף משקולות שיאפשר לו לזהות את הקלט ולהגיב בהתאם. מינסקי המתטיקאי לא היה מוכן לקבל הצהרות גורפות שכאלה ללא הוכחה. הצלחתה של המערכת שבנה רוזנבלט בזיהוי צורות לא הרשימה אותו: הוא טען שהצורות והאותיות שבהן השתמש רוזנבלט כדי להדגים את יכולותיו של הפרספטרון היו פשטניות מדי ולא היוו אתגר אמתי.

בשנת 1969, עשר שנים לאחר שהדגים רוזנבלט לראשונה את אב-הטיפוס של הפרספטרון, חבר מרווין מינסקי למתמטיקאי מוכשר נוסף בשם סימור פאפרט (Papert), ויחדיו פרסמו ספר בשם Perceptrons. בספר ניתחו ניתוח תאורטי מעמיק את הרכיב שהמציא רוזנבלט – והגיעו למסקנה שיהיה זה בלתי אפשרי לפתח בעזרתו מערכות בעלות בינה מלאכותית. מדוע? הפרספטרון, כתבו מינסקי ופאפרט, הוא רכיב אלגנטי ובעל יכולות מרשימות ביחס לפשטותו – אבל כדי לבנות בעזרתו מערכות מורכבות שמסוגלות לבצע משימות מסובכות, יש לחבר המון פרסטפטרונים זה לזה. דמיינו לעצמכם עוגה עשוייה שכבות שכבות: בכל שכבה יש מספר פרספטרונים שהכניסות שלהם מחוברות לפרספטרונים בשכבה מעל – והיציאות שלהם לפרספטרונים בשכבה מתחת.

בעיית השכבות העמוקות

הבעיה שזיהו מינסקי ופאפרט נעוצה בשכבות הפנימיות של העוגה. המערכת שהדגים רוזנבלט הייתה מורכבת משתי שכבות: שכבה שלתוכה נכנסו האותות בכניסה, ושכבה שהוציאה את תוצאת החישוב. כשיש לך שתי שכבות של פרספטרונים קל יחסית למצוא את הכיוונון הנכון של המשקולות בחיבורים ביניהם כדי להגיע לתוצאה הרצויה. אבל אם יש לך שכבה 'פנימית' – דהיינו, פרספטרונים שנמצאים בין שכבת הכניסה ושכבת המוצא – הרבה יותר קשה לכוון את המשקולות שלהם.

כדי להבין זאת, בואו נדמיין קבוצה של ילדים שמשחקים ב'טלפון שבור': אתה אומר לילד הראשון משפט כלשהו, והוא לוחש אותו לילד שלידו וכך הלאה עד שמגיעים לילד האחרון שאומר בקול את המשפט ששמע. הילד הראשון בשורה הוא, באנלוגיה שלנו, פרספטרון בשכבת הכניסה. הילד האחרון – פרספטרון בשכבת המוצא. כל הילדים שביניהם הם פרספטרונים בשכבות פנימיות.

עכשיו, נניח שיש לנו רק שני ילדים במשחק: אתה אומר לילד הראשון את המשפט, הוא אומר לילד השני, שאומר אותו בקול רם. אם משהו השתבש בדרך והמשפט לא יצא נכון – קל למצוא איפה הייתה הבעיה: או שהילד הראשון העביר אותו לא נכון, או שהילד השני הבין אותו לא נכון. אתה מוצא את הילד הבעייתי, מסביר לו מה צריך לעשות, והוא לומד להעביר את המשפט כמו שצריך.

עכשיו נניח שיש לנו עשרה ילדים במשחק. אם המשפט השתבש בדרך, איך נדע היכן התרחש השיבוש? איך נדע איזה ילד טעה בהעברת המידע? זה כבר הרבה יותר קשה, ובלי הידע הזה לא נוכל לתקן את הטלפון השבור ולהדריך את הילדים איך להעביר את המסר ביניהם טוב יותר.

אותו הדבר תקף, עקרונית, גם בשכבות הפרספטרונים. אם יש לנו רק שתי שכבות – כניסה ויציאה – קל למצוא את כיוונון המשקולות הרצוי. אם יש לנו שכבות פנימיות ו'חבויות' של פרספטרונים, קשה מאד לדעת איך צריך 'לשחק עם החוגות'. ללא שכבות פנימיות, קבעו מינסקי ופאפרט, רשתות נוירונים מלאכותיים מוגבלות לביצוע משימות פשוטות כגון זיהוי צורות בסיסיות ולעולם לא נוכל להעזר בהן כדי לבצע משימות תובעניות יותר, כגון זיהוי פרצופים למשל. במילים אחרות – נוירונים מלאכותיים הם מבוי סתום. אין טעם להמשיך ולעסוק בהם, ועדיף לחוקרים שינסו לממש את חלום הבינה המלאכותית בדרכים אחרות.
'החורף' של הבינה המלאכותית

פרנק רוזנבלט הלך לעולמו בשנת 1971. הוא נהרג בתאונת שייט והוא בן 43 בלבד. מותו הטרגי של רוזנבלט חסך ממנו שברון לב, שכן בעקבות ספרם של מינסקי ופאפרט הפנה עולם המדע עורף לפרספטרון: חקר רשתות הנוירונים המלאכותיים העסיק חוקרים רבים בשנות השישים, אך נזנח לחלוטין בשנות השבעים. המגזינים המדעיים לא הסכימו לפרסם מאמרים אודות הפרספטרון, מדענים שביקשו להמשיך ולעסוק בו לא זכו לקבל מענקי מחקר – וכתוצאה מכך, חוקרים מעטים המשיכו לעסוק בתחום.

למען ההגינות, ראוי לציין שמינסקי ופאפרט לא היו הגורמים היחידים ל'חורף הקפוא' שפקד את תחום המחקר ברשתות נוירונים מלאכותיים בשנות השבעים: אחראית לכך גם ההתקדמות האטית במחקר בתחום במהלך שנות השישים. אחרי ההתלהבות הראשונית בעקבות הצלחתו של רוזנבלט, גילו החוקרים שקשה מאד לבנות על גילוייו ולהתקדם למערכות מורכבות ומשוכללות יותר. סיבה אחת לכך היא העדר התשתית התאורטית שעליה קונן מינסקי. סיבה אחרת היא שהאלקטרוניקה באותם הימים לא הייתה מתקדמת מספיק כדי שניתן יהיה לבנות מערכות שכאלה בצורה נוחה ואמינה.

נוסף על כך, בעוד המחקר על רשתות נוירונים מלאכותיים לא התקדם לשום מקום – כיווני מחקר אחרים בתחום הבינה המלאכותית הראו התקדמות מבטיחה יותר. למשל, אחת הגישות המקובלות בחקר הבינה המלאכותית היא זו המכונה 'מערכות מומחה' (Expert Systems). בגישה זו, מספקים למחשב בסיס ידע נרחב על עולם הבעיה – למשל, עובדות ונתונים אודות מחלה כלשהי – וכללים שמגדירים כיצד לעשות שימוש בידע זה. השימוש במערכות מומחה הביא לתוצאות טובות יותר, במישור המעשי, מאשר מערכות המבוססות על רשתות נוירונים מלאכותיים ולא מעט מערכות מומחה נכנסו לשימוש בתחומים כגון רפואה, הנדסה כימית ועוד. כך קרה שלכל אורך שנות השבעים וחלק משנות השמונים, הניסיון לחקות את פעולתו של המוח באמצעות מודלים פשוטים של הנוירונים – כדוגמת הפרספטרונים – נדחק לקרן זווית.

אך פה ושם עוד נותרו כמה מדענים עיקשים שהלכו 'עם הראש בקיר' ולא הסכימו לזנוח את הנוירונים המלאכותיים. אחד מהם היה דוקטורנט בשם פול וורבוס (Werbos), שבשנת 1974 מצא פתרון לבעיית השכבות הפנימיות שהטרידה כל כך את מינסקי ופאפרט. הבעיה הייתה, נזכיר, מציאת ערכי המשקולות בחיבורים שבין הפרספטרונים הפנימיים. וורבוס גילה שיטה יעילה ופשוטה לקבוע את הערכים הנכונים על סמך התבוננות בשכבת המוצא. בהמשך לאנלוגיה של משחק הטלפון השבור, וורבוס מצא דרך לזהות איזה ילד אחראי לשיבוש במשפט המועבר – על סמך המשפט שקיבל מהילד האחרון בשרשרת. השיטה כונתה 'Backpropogration' ('חלחול לאחור', בתרגום חופשי).

אבל פול וורבוס היה דוקטורנט צעיר, אלמוני וחסר ניסיון – וכולם ידעו שרשתות נוירונים מלאכותיים הן מבוי סתום. על כן איש לא היה מוכן לשמוע על ה-Backpropogation.

"הפסימיות [כלפי רשתות נוירונים מלאכותייים] באותה התקופה הייתה סופנית ממש. בתחילת שנות השבעים ביקרתי את מרווין מינסקי ב-MIT. הצעתי לו שנכתוב מאמר משותף שבו נראה ש[שיטת החישוב שלי] מסוגלת להתגבר על הבעיות המוקדמות…אבל מינסקי לא היה מעוניין. למעשה, אף אחד ב-MIT או בהארוורד או בכל מקום אחר לא התעניין בזה באותה התקופה."
ויכוח על שפה

חלפו עוד יותר מעשר שנים עד שהרעיון ה-Backpropogation של וורבוס נתגלה מחדש, באופן עצמאי, על ידי מספר חוקרים שונים במקביל. אחד מהם היה חוקר בשם ג'פרי הינטון – שלא ארחיב עליו עכשיו, אבל הוא עתיד לשחק תפקיד חשוב מאד בחלקו השני של הפרק הזה – ושניים אחרים היו דיוויד רומלהארט (Rumelhart) וג'יימס מק'לילנד (McClelland).

רומלהארט ומק'לילנד היו פסיכולוגים בהכשרתם, והגיעו אל תחום רשתות הנוירונים המלאכותיים מכיוון שונה לגמרי ממדעי המחשב, והוא – חקר השפה האנושית. רומלהארט ומק'לילנד לקחו חלק בויכוח שהתנהל בקהילה האקדמית בשאלה – כיצד לומדים ילדים לדבר? השפה היא יכולת אנושית מובהקת שמבדילה אותנו משאר בעלי החיים, ולכן ניתן להסיק שמשהו במבנה המוח האנושי ייחודי בעולם הטבע מבחינה זו. השאלה היא – מה?

רוב החוקרים דגלו בהשערה שכללי השפה והדיבור 'מקודדים' בתוך המוח באופן כלשהו. דהיינו – אי שם במוחנו ישנם כללים וחוקים שהמוח מיישם כדי להבין את השפה. אמנם אנחנו עדיין לא יודעים היכן הכללים הללו כתובים – אבל הנקודה היא שישנם כללים מוגדרים. אם תרצו, ישנה תכנה חבויה אי שם בתוך הראש. רומלהארט ומק'לילנד דגלו בהשקפה שונה. הם האמינו שאין באף מקום במוח 'כללים' פורמליים ללימוד שפה, אלא שהיכולת שלנו ללמוד שפה מופיעה מאליה כתוצאה מהאופן שבו הנוירונים מחוברים זה לזה. במילים אחרות – אין כללים, יש רק חיבורים.

כדי להוכיח את טענתם פנו שני הפסיכולוגים אל תחום רשתות הנוירונים המלאכותיים. ב-1986 הם בנו מודל ממוחשב של רשת נוירונים בעלת מספר שכבות, הפעילו עליה את תהליך ה-Backpropogation ולימדו אותה איך להטות פעלים באנגלית בעבר – למשל, work/worked, begin/began וכן הלאה. הרשת קיבלה פועל בהווה, והייתה צריכה לנחש כיצד מהי צורת העבר שלו.

כפי שיודע כל מי שלמד אנגלית, הטיית פעלים לעבר אינה משימה קלה: יש פעלים שכדי להטות אותם יש להוסיף להם סיומת של ed בסוף – למשל, work/worked, carry/carried – ויש פעלים שצורת העבר שלהם היא ייחודית – sing/sang, begin/began וכדומה.
כשילדים קטנים לומדים לדבר אנגלית, יש תופעה שחוזרת על עצמה בכמעט כל המקרים. בהתחלה הילד לומד בעל פה את צורת העבר של כמה וכמה פעלים ואומר אותם כמו שצריך. אבל אז הילד מגלה את החוקיות של הוספת ed בסוף, ומרוב התלהבות על החוקיות החדשה מתחיל להוסיף ed לפעלים גם היכן שלא צריך להוסיף: למשל, singed, begined וטעויות דומות. רק לאחר מכן, כשמתקנים את הילד, הוא מבין את טעותו ולומד מתי צריך להוסיף ed ומתי לא.

למרבה ההפתעה, רשת הנוירונים המלאכותיים של רומלהארט ומק'קלילנד עשתה את אותו מסלול הלימוד כמו זה של הילדים. בתחילת תהליך הלימוד המערכת ניבאה נכון את צורת העבר של פעלים – אבל אז, ככל שהזינו לתוכה יותר ויותר דוגמאות, רשת הנוירונים זיהתה את החוקיות של הוספת ed לפעלים – ואז, ממש כמו אצל ילדים, היא החלה לטעות ולהוסיף ed איפה שלא צריך. רק כשהזינו החוקרים לתוכה עוד ועוד דוגמאות של הטיית פעלים למדה המערכת מתי צריך להוסיף ed ומתי לא – ויכולת הניבוי שלה השתפרה בהתאם.

במילים אחרות, רומלהארט ומק'לילנד הדגימו איך יכולה רשת נוירונים ללמוד מאפיין של שפה אנושית אך ורק מתוך דוגמאות ולא בעזרת ניסוח פורמלי של כללים. ולא זו בלבד, אלא שרשת הנוירונים המלאכותית הפגינה תהליך לימוד כמו-אנושי להפליא שחיקה לא רק את ההצלחות האנושיות, אלא גם את אותו סוג של טעויות שעושים בני אדם!

הניסוי של רומלהארט ומק'קלילנד נחשב לאבן דרך בחקר השפה האנושית – אבל חשוב יותר לענייננו, הוא הצית מחדש את העניין של החוקרים בפוטנציאל של רשתות נוירונים מלאכותיים. הניסוי היה הדגמה פנטסטית מעשית לעוצמתה של שיטת ה-backpropogation: סוף סוף הייתה בנמצא שיטה אמינה וברורה לאמן רשתות נוירונים וללמד אותם לבצע משימות מורכבות הרבה יותר ממשימת זיהוי הצורות של רוזנבלט בשנות השישים. התרגשות מחודשת אחזה בחוקרים.
על סיפו של עידן חדש

אבל הדרך אל יישומים מעשיים של רשתות נוירונים מלאכותיים בעולם האמיתי הייתה עדיין רחוקה מאד. חלק מהבעיות שהעיקו על תחום המחקר הזה בשנות השבעים עדיין נותרו בעינן: למשל, המחשבים היו עדיין חלשים מדי מכדי לאפשר עבודה יעילה עם רשתות נוירונים מלאכותיים, והביצועים של מערכות אלה עדיין היו נחותים ביחס לביצועיהן של מערכות אחרת של בינה מלאכותית, כמו 'מערכות מומחה' שהזכרתי קודם. במילים אחרות, רשתות נוירונים מלאכותיים עדיין היו אפרוח שהיה לו המון פוטנציאל להפוך לציפור – אבל לא הצליח לשבור את דופן הביצה ולבקוע ממנה. לכל אורך שנות השמונים, התשעים וחלק משנות האלפיים היו עדיין המון חוקרים ספקנים שהעריכו שרשתות נוירונים מלאכותיים לעולם לא יצליחו למצוא לעצמן מקום בעולם האמיתי, ותמיד יישארו בגדר פוטנציאל בלתי ממומש.

אבל רשתות הנוירונים המלאכותיים הצליחו, לבסוף, לבקוע מהביצה – וכשעזבו סוף סוף את הקן, הם חוללו את אחת המהפכות הטכנולוגיות המדהימות והדרמטיות ביותר של השנים האחרונות, מהפכה שאת תוצאותיה אנחנו מתחילים להרגיש ממש לאחרונה.
חלק ב'

בתחום חקר הבינה המלאכותית יש דפוס קבוע שחוזר על עצמו פעם אחר פעם אחר פעם מזה עשרות שנים: טכנולוגיה או טכניקה חדשה מופיעה – ומיד כולם מתחילים לדבר על כך שהנה, אוטוטו, יופיעו מחשבים בעלי בינה מלאכותית, ושלכל אחד מאתנו יהיה בבית רובוט שידיח את הכלים וילמד את הילדים חשבון. מספר שנים לאחר מכן, כשרובוטים בעלי בינה מלאכותית מאחרים לבוא וכולם מבינים שההבטחות הגרנדיוזיות היו לא יותר מאשר 'הייפ' בלתי מציאותי – משתררת אכזבה כללית ותחושה שבעצם, מחשבים בעלי בינה מלאכותית רחוקים מאד ממימוש, אם בכלל נצליח להמציא אותם אי פעם.

אם נסתכל סביבנו היום, נזהה סימנים להייפ דומה. צירוף המלים 'למידה עמוקה' (Deep Learning) מופיע בכל מקום, וכל סטארט-אפ שני מתפאר בכך שגם המוצר שלו משתמש בלמידה עמוקה. חיפוש שטחי ב- Google News מעלה כותרות כגון – "למידה עמוקה תציל חיי תינוקות", "למידה עמוקה תסייע לעיוורים ולחירשים" ו-"רשת למידה עמוקה של גוגל המציאה שיטת הצפנה חדשה" – ואלו תוצאות מהשבוע האחרון בלבד.

קשה להפריד בין הייפ למציאות בעולם הבינה המלאכותית. לדוגמה, כשניצח 'כחול עמוק' את גארי קספרוב, אלוף העולם בשח-מט, בשנת 1997 – התמלאו כותרות העיתונים בתחזיות אודות עלייתן לגדולה של תכנות בעלות בינה מלאכותית. אך שום דבר מהתחזית לא התמשש. אמנם תכנות השח-מט השתפרו בצורה ניכרת, אבל ניצחונו של 'כחול עמוק' לא חולל מהפכה דרמטית בעולם הבינה המלאכותית, ולא קידם אותנו אל עבר לחזון מחשבים חכמים ורובוטים שמדיחים כלים – אלא אם אתם מחשיבים אותי כסוג של רובוט מתוחכם מאוד.

קפיצה מהירה אל ההווה. GO הוא משחק יפני עתיק ופופולרי אשר נחשב למשחק מורכב וקשה יותר אפילו משח-מט. לראייה, מחשבים מסוגלים לנצח את בני האדם המוכשרים ביותר בשח-מט כבר מאז 1997 – אבל עד לפני פחות משנה, אף תוכנת מחשב אחת לא הצליחה לשחק שחקן Go מקצועני. מומחי הבינה המלאכותית שיערו שידרשו עוד עשר שנים לפחות עד שמחשב יוכל להשתוות לאדם ב-Go.

אך ה"למידה העמוקה" שינתה את מצב העניינים הזה במהירות. ב-2014 פיתחה גוגל תוכנה בשם AlphaGo, המבוססת על הטכנולוגיה החדשנית הזו, ועוד באותה השנה ניצחה AlphaGo את כל חמש מאות תכנות ה- Go האחרות שהיו זמינות בשוק באותה העת. ב-2015 ניצחה התכנה את אלוף אירופה ב-Go בתוצאה חמש-אפס, והטורניר ב-2016 הפגיש אותה עם לי סידול (Sedol) הדרום-קוראני, הנחשב לאחד מארבעת שחקני ה- Go הטובים בתבל. AlphaGo הביסה אותו בתוצאה ארבע-אחת. דהיינו, בתוך כשנה הביאה טכנולוגיית הלמידה העמוקה את המחשב מנחיתות ברורה מול שחקני Go אנושיים – למצב שבו ברור למדי שדומיננטיות מוחלטת של המחשב בענף הזה היא עניין של חודשים או שנים ספורות.

האם נצחונה של AlphaGo מסמל מהפכה אמתית ומשמעותית בתחום הבינה המלאכותית, או שמא נגלה בעוד מספר שנים ששוב נפלנו לאותה מלכודת ההייפ, ובעצם מדובר בהצלחה נקודתית בלבד?
ספקנות כלפי למידה עמוקה

את החלק הקודם סיימנו בתיאור ההתאוששות שחלה בחקר רשתות הנוירונים המלאכותיים בשנות השמונים, לאחר תקופה ארוכה שבה רשתות נוירונים מלאכותיות היו 'מוקצות' ורבים לא רצו לעסוק בהן. המפתח להתאוששות היה גילוי טכניקה בשם Backpropagation, שאפשרה בפעם הראשונה "לאמן" או "ללמד" רשתות נוירונים מרובות-שכבות לבצע משימות מורכבות יחסית. רשתות מרובות-שכבות, או 'רשתות עמוקות', הן רשתות נוירונים שבהן קבוצות של נוירונים מחוברות זו לזו כמו שכבות של עוגה: כל קבוצה מקבלת מידע מהשכבה שמעליה, מעבדת אותו ומעבירה אותו לשכבה הבאה בתור. החוקרים גילו מזמן שכדי לבצע משימות מורכבות כגון זיהוי פרצופים וכו' יש צורך במספר גדול מאד של נוירונים שמאורגנים במספר רב של שכבות. "אימון" רשת נוירונים מלאכותיים הוא הזנת מחשב במספר גדול מאוד של דוגמות, כדי לאפשר לו לגלות בכוחות עצמו מהם הכללים שעליו ליישם לשם ביצוע מוצלח של משימה. המקבילה האנושית ליכולת זו היא לימוד רכיבה על אופניים: ילדים שלומדים לרכוב על אופניים מגלים בכוחות עצמם כיצד ניתן לשמור על שיווי משקל תוך כדי דיווש.

בחלק הקודם גם שמענו על התגלית המרתקת של דיוויד רומלהארט וג'יימס מק'לילנד, אשר הדגימו כיצד מסוגלת רשת נוירונים מלאכותיים לחקות שגיאות מוכרות המתרחשות במוח האנושי – כמו שגיאות המתרחשות במהלך לימוד שפה אצל ילדים. הדמיון בין תפקודם של הנוירונים המלאכותיים למוח האדם, הצית מחדש את הסקרנות בקרב חוקרים רבים.

אבל למרות ההתעניינות המחודשת, חוקרים רבים היו עדיין ספקנים לגבי הפוטנציאל המעשי של רשתות נוירונים מלאכותיות. ראשית, אפיקי מחקר אחרים בתחום הבינה המלאכותית – במיוחד 'מערכות מומחה' ומערכות המבוססות על ניתוח סטטיסטי של מידע לשם קבלת ההחלטות – הפגינו לכל אורך שנות השבעים והשמונים ביצועים טובים יותר מאלו של רשתות הנוירונים המלאכותיים. שנית, שרשתות הנוירונים המלאכותיים נוצרו בהשראת מבנה המוח, אך בסיכומו של דבר קיימים לא מעט הבדלים בינן לבין המוח. למשל, בני אדם מסוגלים ללמוד כישורים חדשים – מלימוד שפה, דרך לימוד נהיגה ועד לכתיבת דוקטורט בתחום מחקר ספציפי – במגוון רחב של דרכים ולא רק באמצעות למידה מתוך מגוון רחב של דוגמות. בנוסף, יש דברים שמספיק לחוות אותם רק פעם אחת כדי להסיק מהם מסקנה – כמו למשל כוויה מתנור לוהט.

על אף הספקנות, היו כמה חוקרים שנמשכו לרעיון רשתות הנוירונים המלאכותיים בעיקר כיוון שמבחינה אינטואיטיבית גרידא, קל לראות את הדמיון בינן לבין אופי פעילותו של המוח. רשתות הנוירונים המלאכותיים, בדומה לרשתות הנוירונים הביולוגיים במוח, אינן זקוקות למעבד מרכזי, לתאי זיכרון או אפילו לייצוג פורמלי של מספרים ואותיות. עבור חלק מהחוקרים, הדמיון בין הרשתות המלאכותיות והמוח היה שירת הסירנה, מקור משיכה שאי אפשר להתנגד לו.
ג'פרי הינטון

אחד מאותם החוקרים שנמשכו אל רשתות הנוירונים המלאכותיות כמו פרפר אל האש היה האנגלי ג'פרי הינטון (Hinton). הינטון נולד ב-1947 למשפחה בעלת מסורת מכובדת של מחקר מדעי: אחד מאבות אבותיו היה ג'ורג' בול (Bole) – מדען שהניח את היסודות ללוגיקה הבוליאנית הקרויה על שמו. הינטון גם לא היה זר למחלוקות ולקשיים בתוך הקהילה המדעית שבהן נתקל חוקר המביע דעות אשר אינן ב'מיין-סטרים' של תחום מחקרו. באחד הראיונות סיפר הינטון את האנקדוטה הבאה:

"אבי היה אנטמולוג (חוקר חרקים) והאמין בתאוריית נדידת היבשות. בשנות החמישים המוקדמות, התאוריה הזו נחשבה לשטיות במיץ עגבניות […] והגאולוגים לגלגו עליה. הם קראו לה 'קשקוש', פנטזיה מוחלטת. אני זוכר ויכוח מרתק שאבי היה שותף לו. הייתה איזו חיפושית שלא הייתה יכולה לעוף למרחקים גדולים: היא קיימת באזור הצפוני של אוסטרליה, ובמשך מיליוני שנים לא הייתה מסוגלת לעבור מנחל אחד לאחר. ואז גילו אותה גם בחוף הצפוני של גינאה החדשה: אותה חיפושית, בשינויים קלים. הדרך היחידה שבה זה היה יכול להתרחש זה אם אוסטרליה וגיניאה החדשה היו מחוברות זו לזו. היה מעניין מאד לשמוע את התגובות של הגאולוגים לטיעון הזה. הם אמרו – 'חיפושיות לא מסוגלות להזיז יבשות.' הם פשוט סירבו להסתכל על העובדות."

הינטון פיתח עניין רב בחקר המוח ונרשם לאוניברסיטת קיימברידג' – אבל אף דיסיפלינה מדעית אחת לא הניחה את דעתו. הוא ניסה ללמוד רפואה ולאחר מכן פילוסופיה, אבל שתיהן לא שכנעו אותו שכך יוכל לפצח את מסתורי המוח. לבסוף התפשר הינטון על פסיכולוגיה – למרות שגם הפסיכולוגיה לא סיפקה לו את התשובות שחיפש. רק כשנתקל ברשתות נוירונים מלאכותיים מצא את מבוקשו: טכנולוגיה שמאפשרת לדמות, ולו באופן חלקי בלבד, את פעולת המוח ולבחון את צפונותיו. הספקנות הגדולה שהפגין הממסד המדעי כלפי רשתות נוירונים מלאכותיים בשנות השבעים והשמונים לא הרתיעה אותו.

"אנשים היו מאוד, מאוד נגד העניין הזה. היה קשה מאד [במחקר]. אבל הגישה שלי הייתה שהמוח חייב לעבוד איכשהו, ואין סיכוי שהוא עובד באותה הדרך שבה עובדים המחשבים שלנו. בפרט, הרעיון שאפשר ליצור בינה מלאכותית באמצעות [תכנות של המון פקודות וכללים] הוא פשוט מגוחך בעיני."

בשנות השמונים היה ג'פרי הינטון אחד מהחוקרים שגילו מחדש את עקרון ה-Backpropagation שחשף פול וורבוס בשנות השבעים, והיה דמות בולטת בקרב הקהילה הזעירה של חוקרי רשתות נוירונים מלאכותיים. לכל אורך שנות השמונים והתשעים פיתוחים חדשים וטכניקות חדשות שיפרו את ביצועיהן של רשתות הנוירונים המלאכותיים,אך הספקנות הגדולה מצד שאר הממסד המדעי כלפי רשתות נוירונים מלאכותיות הקשה על השגת תקציבים ומענקי מחקר. היה רק גוף אחד שהמשיך בכל זאת לממן את פעילות המחקר בנוירונים מלאכותיים: ממשלת קנדה. 'המכון הקנדי למחקרים מתקדמים' (CiFAR – נשמע כמו 'לראות רחוק') היה המוסד האקדמי היחיד שהסכים לתקצב את הינטון, ובשנת 1987 עבר החוקר האנגלי לטורונטו. עולם המחקר ברשתות נוירונים מלאכותיים התגבש סביב CiFAR והינטון, והיה עורק החיים של הקהילה הקטנה והמנודה – מקום שבו חוקרים החליפו ביניהם רעיונות באופן חופשי וגלוי.

הינטון ועמיתיו ניסו למצוא דרכים לפרוץ את מצור הספקנות שהוטל עליהם: ירחונים מדעיים חשובים לא הסכימו לפרסם מאמרים שהכילו את צרוף המילים 'נוירונים מלאכותיים.' בשנת 2003 התכנסו הינטון ושני חוקרים בולטים אחרים – יאן לקו (LeCun) מצרפת ויושוע בנג'יו (Benjio) מקנדה – וטיכסו עצה כדי להתגבר על ספקנות זו. הם החליטו להשתמש בביטוי המעורפל-משהו "למידה עמוקה" (Deep Learning), כדי לטשטש את הקשר בין מחקריהם לרשתות נוירונים מלאכותיים ולהתרחק מהסטיגמה שנקשרה אליהם. המזימה שרקחו השלושה הצליחה, ועד היום רק מעטים יחסית, מודעים לקשר ההדוק שבין המחקר בתחום הלמידה העמוקה למחקר ברשתות הנוירונים המלאכותיים בשנות השישים, השבעים והשמונים.
למידה עמוקה ומעבדים גרפיים

פריצת הדרך המשמעותית ביותר בתחום הלמידה העמוקה התרחשה בשנת 2009, ואחראים לה שני סטודנטים של הינטון – עבד אלרחמן מוחמד וג'ורג דהאל (Dahl). כדי להבין את מהות פריצת הדרך הזו, הבה ניקח צעד אחורה ונדבר על המימוש המעשי של רשתות נוירונים מלאכותיים.

מה הכוונה ב'מימוש מעשי'? ובכן, דמיינו לעצמכם שאתם מהנדסי תעופה שמתכננים דגם חדש של מטוס ואתם רוצים לבחון את זרימת האוויר על כנפיו. דרך אחת לעשות זאת היא לבנות דגם ממשי של המטוס, להציב אותו בתוך מנהרת רוח ולערוך ניסוי – אך דרך אחרת היא לבנות דגם וירטואלי של המטוס ולערוך סימולציה ממוחשבת של התנהגותו במנהרת הרוח. אם חוקי הזרימה השולטים על תנועת הרוח מובנים לנו דיים, אזי סימולציה ממוחשבת היא פתרון טוב ונוח הרבה יותר מאשר ניסוי מסורבל במנהרת רוח.

אותו העיקרון תקף גם כשמדובר ברשתות נוירונים מלאכותיים. החוקרים יכולים לבנות רשת נוירונים בעזרת רכיבים אלקטרוניים מתאימים – אבל נוירון מלאכותי בודד הוא "יצור" פשוט למדי שמתנהג באופן ברור וצפוי מאד. כיוון שכך, קל הרבה יותר לבחון את התנהגותה של רשת נוירונים מלאכותיים בסימולציה ממוחשבת מאשר לממש רשת שכזו כאוסף של רכיבים אלקטרוניים.

סימולציה שכזו נעשית, בדומה למרבית החישובים המקובלים, במעבד הראשי של מחשב, ה- CPU (ראשי תיבות של Central Processing Unit). אבל הבעיה היא שסימולציית רשת נוירונים מלאכותיים היא משימה קשה במיוחד למעבד הראשי. ברשת נוירונים מציאותית החישובים נעשים כולם במקביל: כל הנוירונים פועלים בו זמנית והמידע זורם בין השכבות כמו מים בתוך ספוג. ב-CPU, לעומת זאת, החישובים מתבצעים באופן טורי – דהיינו, על המעבד לסיים פעולה אחת לפני שהוא מתחיל פעולה אחרת. התוצאה היא שחישוב שלוקח שבריר ברשת נוירונים מקבילית, עלול לקחת שניות ארוכות בסימולציה טורית של אותה הרשת. שוו בנפשכם חוקר שרוצה לאמן רשת נוירונים בזיהוי פרצופים, והוא מציג לה תמונה אחר תמונה אחר תמונה של פרצופים אנושיים: אם מדובר במיליוני תמונות, האימון יכול להמשך שבועות ואפילו חודשים! מגבלת הביצועים של המעבד הראשי הכריחה חוקרים לאמן את הרשתות שלהם בכמות דוגמות קטנה יחסית, והגבילה את פוטנציאל הביצועים שלהן.

אך עבד אל-רחמן מוחמד וג'ורג דהאל עבדו עם מעבדים מסוג אחר: מעבדים גרפיים, או GPU (ראשי תיבות של Graphical Processing Unit) שפותחו במקור עבור משחקי מחשב, ומכילים אלפים רבים של מעבדים זעירים המבצעים חישובים רבים פשוטים יחסית – אבל במקביל זה לזה, ולא בטור. מוחמד ודהאל הבינו שהמעבדים הגרפיים, למרות שפותחו במקור למשחקי מחשב, הם בעלי מבנה מושלם לביצועי סימולציות של רשתות נוירונים מלאכותיים, הדורשות גם הן חישובים רבים פשוטים במקביל. כבר בניסיון הסימולציה הראשון במעבדים גרפיים, הצליחו מוחמד ודהאל להאיץ את חישובי רשת הנוירונים שלהם באופן דרמטי: פי שבעים ביחס למקובל!

הצלחתם של הסטודנטים דברנה חוקר אחר בשם אנדרו נג (Ng) לערוך ניסוי פורץ דרך משלו. כאמור, מגבלת האטיות של הסימולציה באמצעות המעבד הראשי הכריחה את החוקרים לאמן את הרשתות שלהם במספר דוגמות מצומצם. נג בנה רשת נוירונים לזיהוי כתב יד, וכיוון שנעזר במעבדים הגרפיים המהירים, היה מסוגל לאמן אותה במספר דוגמות גדול בהרבה. התוצאה הייתה שיפור מדהים בביצועי המערכת: פי ארבעה ביכולת זיהוי כתב יד ביחס לרשתות קודמות!

שיפור מדהים

הפרט המעניין בניסוי של אנדרו נג הוא שההצלחה במקרה הזה לא נזקפה לזכות פיתוח חדשני או לתגלית מסעירה: ההפך הוא הנכון, הוא השתמשו בבאותם האלגוריתמים בדיוק ובאותן הטכניקות שהיו מוכרות כבר מאז שנות השמונים והתשעים. השיפור בביצועים התמשש אך ורק הודות לשימוש במעבדים גרפיים מהירים, שאפשר לו לאמן את המערכת בכמות דוגמות גדולה בהרבה משהיה מקובל בעבר.

לתובנה הזו הייתה השפעה דרמטית על המחקר בתחום הבינה המלאכותית. דמיינו לעצמכם אתלטים שמתאמנים למירוץ מאה מטרים. במשך עשרות שנים השיפור בשיא העולמי היה מאית שנייה פה, ומאית שנייה כאן. לפתע פתאום מגלים הספורטאים שאם רק יחליפו את מי השתייה שלהם במיץ פטל, לפתע פתאום הם מסוגלים לשפר את שיאם בכמה שניות תמימות בכל פעם! ברור שכולם, כאיש אחד, יעברו לשתות מיץ פטל. וזה גם מה שהתרחש בעולם הבינה המלאכותית כשיותר ויותר חוקרים בעצם הבינו שהידע הדרוש כדי לתכנן רשתות נוירונים מוצלחות כבר היה קיים עוד בשנות השמונים – וכל מה שהיה חסר כדי שלמידה עמוקה 'תבקע מהביצה' ותפגין ביצועים מזהירים הם מעבדים גרפיים והמון המון המון דוגמאות לאמן איתן את המערכות. כיום, שני המרכיבים הללו זמינים כמעט כמו מיץ פטל: מעבד גרפי חזק עולה כמה מאות דולרים בלבד, והאינטרנט מספק לנו גישה לאינסוף מידע ודוגמות מכמעט כל סוג שנרצה.

התוצאות לא איחרו לבוא. ב-2012 השתתפו הינטון ושני חוקרים נוספים בתחרות בינלאומית בשם ImageNet. ImageNet היא מעין 'מיני-אולימפידה' של מערכות בינה מלאכותית בתחום הראייה הממוחשבת: קבוצות של חוקרים מכל רחבי העולם מעמידות את המערכות שלהן זו מול זו, ומשוות את ביצועיהן במבחן זיהוי תמונות שבו על המחשב להסיק שבתמונה אחת רואים 'איש רוכב על אופניים', בתמונה אחרת 'ילד אוכל סוכריה' וכן הלאה.

המערכת של הינטון וחבריו שהייתה מבוססת על מעבדים גרפיים, השיגה שיעור שגיאה של כחמישה עשר אחוזים, או במילים אחרות – המערכת זיהתה נכון יותר משבע תמונות מתוך עשר. המערכת במקום השני השיגה רק עשרים ושישה אחוזים! זהו שיפור מדהים בתחום שבו, לאורך עשרות שנים, נמדד השיפור בשברירי אחוז. זה כאילו שאתלט ישבור את שיא העולם במאה מטרים בשנייה שלמה, או שקופץ לגובה ישפר את השיא הקודם במטר.

זו הייתה רק ההתחלה. בשנה שלאחר מכן הגיעה המערכת שזכתה במקום הראשון לאחד עשר אחוזי שגיאה. שנה לאחר מכן – שישה אחוזי שגיאה. ב-2015 הפגינה המערכת הזוכה שלושה אחוזי שגיאה בלבד. הביצועים האנושיים בסוג כזה של מבחנים, אגב, נעים סביב חמישה אחוזי שגיאה, במקרה הטוב.
תצוגת תכלית

חברות האינטרנט הגדולות, רעבות כתמיד לחידושים טכנולוגיים, הסתערו על הלמידה העמוקה – או 'רשתות נוירונים מלאכותיות מרובות שכבות' – והחלו 'חוטפות' את החוקרים המובילים בתחום. עבד אל רחמן מוחמד וג'ורג' דהאל הצטרפו למיקרוסופט ב-2011, ג'אופרי הינטון הצטרף לגוגל, אנדרו נג עובד בביידו, ענקית הטכנולוגיה הסינית, ויאן לקו מוביל את תחום הלמידה העמוקה בפייסבוק. בכל אחת מהחברות חודרת הלמידה העמוקה לכל תחום ולכל מוצר אפשרי. מיקרוסופט הוסיפה לסקייפ, תכנת שיחות הוידאו, את היכולת לתרגם סימולטנית מכל שפה לכל שפה, יכולת שעד לא מכבר הייתה נחלתן הבלעדית של סדרות מדע בדיוני כמו "מסע בין כוכבים." גוגל החליפה את יכולת זיהוי הדיבור של מכשירי האנדרואיד ושיפרה אותם בכמה וכמה דרגות. בפייסבוק שדרגו מאוד את יכולת זיהוי הפרצופים מתוך תמונות שמעלים המשתמשים.

עכשיו, אני מקווה, אפשר להבין טוב יותר את הסיבה להייפ העצום ולהתרגשות הגדולה סביב בינה מלאכותית בשלוש השנים האחרונות. השיפור העצום בביצועי רשתות הנוירונים המלאכותיות בתקופה קצרה כל כך, הוא שיפור שכמותו לא חווה עולם הבינה המלאכותית מעולם. מבחינה זו, ההצלחה של AlphaGo שניצחה את האלוף הקוריאני לי סדול ב- Go אינה הצלחה ייחודית ומנותקת משאר עולם הטכנולוגיה, כפי שהייתה הצלחת 'כחול עמוק' בשחמט בשנות התשעים. 'כחול עמוק' הייתה בינה מלאכותית שהושתתה על כללים: מומחים אנושיים הגדירו למחשב את הכללים שאם יפעל על פיהם, ינצח בשחמט. למידה עמוקה מושתת על לימוד מתוך דוגמאות – ולכן היא ישימה בתחום רחב הרבה יותר של תחומים. אם נזין למחשב דוגמות של פרצופים, הוא ילמד לזהות פרצופים. אם ניתן לו דוגמות לכתב יד – הוא ילמד לזהות כתב יד ואם ניתן לו דוגמות של עסקות בבורסה הוא ילמד לסחור בבורסה. במילים אחרות, AlphaGo היא פועל יוצא, או תצוגת תכלית אם תרצו, של טכנולוגיה בעלת פוטנציאל רחב מאד במגוון גדול של תחומים.

ההתלהבות של חוקרי הבינה המלאכותית נמצאת בשיאה, וצונאמי של דיווחים יום-יומיים אודות יישומים חדשים ומסעירים של למידה עמוקה שוטף את התקשורת. ישנן מאות ואולי אלפי חברות שמנסות להיעזר ברשתות נוירונים מלאכותיות כדי לפתור מגוון רחב של אתגרים שעד היום היו מחוץ להישג ידו של עולם המחשב כגון שיפור יכולות אבחון של מחלות כדוגמת מלנומה באמצעות סריקה של כל נקודות החן בגוף הנבדק, זיהוי מצוקה עוברית בזמן אמת מתוך סריקות אולטרא-סאונד, פיתוח תרופות חדשות, ניתוח חכם של מבנים הנדסיים, שיפור התפקוד של לוויניים בחלל, יצירת תוכנות מסחר חכמות בבורסה, מכוניות אוטונומיות מתחילות לנסוע על הכבישים בארצות הברית ובאירופה. הרשימה ארוכה, ותחומים חדשים מתווספים מדי יום.
מגבלות הלמידה העמוקה

עם זאת, ללמידה עמוקה יש מגבלות, והבנת מגבלות אלה יסייעו לנו להבחין בין תחזיות שיש להן סיכוי מעשי להתממש – לכאלה שהן בלתי סבירות, לפחות בעתיד הנראה לעין.

ראשית יש לומר שיש קונצנזוס בין המומחים שלפחות בעתיד הנראה לעין למידה עמוקה לא תקדם אותנו לבינה מלאכותית מהסוג שאנחנו רואים בקולנוע: דהיינו, מחשבים ורובוטים המסוגלים לדבר, ללכת, לראות ולהגיב באופן כמו-אנושי בכל מצב. נכון להיום, למידה עמוקה מאפשרת לרשת הנוירונים המלאכותיים ללמוד מטלה כלשהי כגון זיהוי פרצופים או תרגום שפה – אבל רק מטלה צרה אחת, ותו לא. רשת נוירונים בעלת יכולת לזהות פרצופים לא תוכל לפתע ללמוד לדבר או ללכת. נוסף על כך יש לזכור שלמרות הדמיון העקרוני בין רשתות הנוירונים המלאכותיות למבנה הבסיסי של המוח, יש עדיין הבדלים תהומיים, ורשתות נוירונים אינן קרובות כלל למימוש פונקציות כמו 'הכרה' ו'מודעות עצמית'. אנחנו יכולים להסיר דאגה מלבנו בכל מה שנוגע לאיום שנשקף לאנושות מבינה מלאכותית שתזכה במודעות ותחליט להשמיד את כולנו. אנדרו נג השווה את הדאגה הספציפית הזו לחשש מפני צפיפות יתר של אוכלוסיית מאדים: זה משהו שיכול להתרחש, אבל זו בעיה רחוקה מספיק רחוקה שאינה צריכה להדאיג אותנו נכון לעכשיו.

פה ושם נתקלים החוקרים בבעיות בלתי צפויות שנובעות מהאופן הייחודי שבו לומדות רשתות נוירונים לבצע מטלות מסוימות, וצריכים למצוא להן פתרונות יצירתיים. בעיה ראשונה היא מצב שבו רשת הנוירונים המלאכותיים הסיקה כלל שגוי במהלך תהליך האימון. למשל, במאמר שהתפרסם ב-2013 תיארו חוקרים מקרה שבו מערכת שלמדה לשחק טטריס גילתה שהדרך הטובה ביותר לנצח במשחק – היא לעצור אותו, דהיינו לעשות Pause. דוגמא נוספת היא מקרה שבו חוקרים אימנו מערכת לזהות וילונות בתמונות. באחד הניסויים, זיהתה המערכת וילון בתמונה שכלל לא הכילה וילון. כדי לבדוק את מהות הבעיה, הנחו החוקרים את המחשב לסרוק את התמונות פיקסל אחר פיקסל ולעצור ברגע שהגיע למסקנה שגילה וילון. להפתעתם, גילו החוקרים כי המחשב עצר כשהגיעה לתמונה של מיטה, דווקא. מה הייתה הבעיה? הסתבר שתמונות רבות שבהם נעזרו החוקרים כדי לאמן את המערכת היו תמונות של חדרי שינה. המערכת למדה שבדרך כלל בחדרי שינה יש וילונות – וכעבור זמן הפסיקה לחפש וילונות בתמונות, והחלה לחפש מיטות. זו דוגמה לרגישות של למידה עמוקה לשגיאות בתהליך האימון, רגישות שבני אדם אינם מודעים אליה, בדרך כלל.
בעית האטימות של רשתות הנוירונים המלאכותיים

בעיה חמורה יותר היא זו המכונה בעית ה'אטימות' (Opacity) של מערכות למידה עמוקה. הדוגמה הבאה תסביר אותה. ב-2016 ערכו מספר חוקרים ניסוי בבית חולים: הם אימנו מערכת למידה עמוקה לזהות חולי דלקת ריאות בסיכון נמוך יחסית ללקות בסיבוכים מסוכנים, כדי שאפשר יהיה לשחרר אותם לביתם ולפנות מיטות במחלקה לחולים בסיכון גבוה יותר. כשבחנו את תפקוד המערכת בפועל, זיהו החוקרים שגיאה קריטית: המחשב המליץ לשחרר חולי דלקת ריאות שהיו גם חולי אסתמה. זו טעות מסוכנת, שכן דווקא חולי אסתמה נמצאים בסיכון הגבוה ביותר ללקות בסיבוכים מְסַכְּנֵי חיים! הסיבה לתקלה, התברר, היא אנומליה בנתונים שסיפק בית החולים עצמו. הרופאים, ביודעם שחולי אסתמה נמצאים בסיכון גבוה, מפנים אותם מיד למחלקת טיפול נמרץ – ורשת הנוירונים, שלא הבחינה בין הפנייה למחלקת טיפול נמרץ לשחרור בחזרה הביתה – פירשה את האנומליה הזו כאילו שחולי אסתמה אינם נמצאים בסיכון.

העובדה החשובה לענייננו היא שהתקלה הקריטית הזו נתגלתה כמעט במקרה, כשהחוקרים השוו את ביצועי מערכת הלמידה העמוקה לביצועיהן של טכנולוגיות אחרות בתחום הבינה המלאכותית. אילו הייתה המערכת פרושה "מבצעית" בבית החולים, ללא בקרה הדוקה מטעם החוקרים, הם היו מבינים שמשהו אינו כשורה, לאחר שהמחשב היה מורה לשחרר חולה אסתמה לביתו, וזה היה נפטר כתוצאה מסיבוכי דלקת ריאות. תקלות מאין אלה קשה מאד לגלות מכיוון שהכללים והחוקים שעל פיהם פועלת רשת נוירונים מלאכותיים אינם כתובים באופן מפורש במקום כלשהו – אלא מקודדים בעצמת הקשרים שבין הנוירונים המלאכותיים לבין עצמם. דהיינו, אין במערכת משפט בסגנון "אם לחולה דלקת ריאות יש גם אסתמה, אזי מותר לשחרר אותו הביתה" שבגללו טעתה המערכת בזיהוי החולים. הכלל הזה מיוצג על ידי קשר חזק בין שני נוירונים כאן, או קשר חלש בין שני נוירונים שם – אבל רשת טיפוסית עשויה להכיל מיליוני נוירונים ומיליארדי קשרים ביניהם, ובני אדם אינם מסוגלים למצוא את הידיים והרגליים בתוך כמות מידע אדירה שכזו. רשת הנוירונים המלאכותית היא כמו מסמך אקסל ענק בעל מיליוני תאים שכל אחד מהם מכיל רק ספרות….

העובדה שרשתות נוירונים מלאכותיים 'אטומות' לעינינו ובני אדם מתקשים לפרש את המידע המקודד שבהן מקשה עלינו לאמץ את הטכנולוגיה הזו בשתי ידיים – במיוחד בתחומים שבהם טעות עשויה להיות הרת גורל כגון רפואה, ביטחון או תחבורה. כמהנדס, ביליתי חלק ניכר מהקריירה שלי בחברות ביטחוניות: הוראות הבטיחות בתכנון מערכות מוטסות, למשל, רשומות בחוברות שיכולות להגיע לאלפי עמודים! אין לי ספק שחברות שכאלה יתקשו לאמץ לחיקן רשתות נוירונים שאיש אינו יכול לומר בוודאות מה רמת הבטיחות שלהן, גם אם ביצועיהן יהיו מעולים.

חוקרים רבים בתחום הבינה המלאכותית מודעים לאבסורד שבתכנון מכונה שאיננו מסוגלים להבין מה מתרחש בתוכה, אבסורד שמעורר תחושות של אי נוחות. אחד החוקרים אמר –

"חברי קהילת הבינה המלאכותית דומים דמיון רב לשוליית הקוסם [בסרט "פנטסיה" של דיסני]. השוליה למד מספיק קסמים כדי לחסוך מעצמו מאמץ ביצוע משימות מתישות – אבל לא מספיק בכדי למנוע מהדליים והמטאטאים המכושפים מלהציף את הטירה…"

ישנם מדענים המאמינים ש'אטימות' שכזו היא חלק בלתי נפרד מהמאפיינים של רשת נוירונים מלאכותיים. יכול להיות שאי אפשר לפתח רשת נוירונים מלאכותיים שאפשר להבין אותה במלואה ועדיין תהיה מסוגלת לבצע משימות מורכבות. אולי האטימות הזו הולכת יד ביד עם שאר המאפיינים של הרשת, באותו האופן שילדים יכולים להיות חמודים ומתוקים – ועדיין מדי פעם להיות מעצבנים ומציקים. במילים אחרות, ייתכן שמערכת שהביצועים הקוגניטביים שלה יהיו טובים כמו אלה של מוח האדם – בהכרח תהיה מורכבת וקשה להבנה כמו מוח האדם. אנחנו, בני האנוש המוגבלים, נידונים לָנֶּצַח להבין את המערכות המורכבות האלה באופן חלקי בלבד, באותו האופן שבו פיזיקאים מנסחים תופעות משונות בעולם הקוונטי באמצעות משוואות מתמטיות – אבל לעולם לא יוכלו להבין אותן ברמה האינטואטיבית.

לא כולם מסכימים לקבל את ההשערה הזו, וישנן קבוצות חוקרים שמפתחות שיטות כדי לנסות ולהבין מה מתחולל בתוך רשת נוירונים. חוקרים אחרים לא נותנים לאטימות של רשתות הנוירונים להטריד את מנוחתם: הם גורסים שאין צורך להבין במדויק מה מתחולל בתוך קרביה של המערכת כדי שניתן יהיה להשתמש בה ביעילות. יאן לקו, החוקר הצרפתי, הביע דיעה זו כך –

"כשאתה מגביל את עצמך לעבוד רק עם מערכות שאתה מבין בצורה מעולה ברמה התאורטית, אתה דן את עצמך להשתמש אך ורק בשיטות וברעיונות פשוטים."
כביש מהיר – או מגרש חניה?

לסיכום, שמענו על הדרך הארוכה שעשה המחקר ברשתות נוירונים מלאכותיים מאז שנות החמישים של המאה העשרים ועד ימינו. הצלחות ראשוניות כדוגמת הפרספטרון עוררו תקוות רבות – אבל כשלונות צורבים הבריחו חוקרים מעיסוק בתחום הזה, ורק מעטים כדוגמת ג'פרי הינטון ויאן לקו המשיכו לעסוק בו באופן מחתרתי-למחצה. רק בשנים האחרונות, עם חדירת מעבדים גרפיים רבי עוצמה וכמויות המידע האדירות שמאפשרות לחוקרים לאמן את רשתות הלמידה העמוקה בצורה נאותה – הבשילה הטכנולוגיה הוותיקה הזו ומכה גלים בעולם הטכנולוגיה. אין כמעט ספק שבשנים הבאות נמצא את הבינה המלאכותית כובשת שטחים רבים יותר ויותר וחודרת לתחומי עיסוק שבעבר היו נחלתם הבלעדית של בני האדם.

חוקרי הבינה המלאכותית למדו את הלקח מכשלונות שנות השבעים, ומשתדלים למתן את ציפיות הציבור מהטכנולוגיות החדשות. יאן לקו, נוהג כדרך קבע 'להצליף' בעיתונאים ובאנשי יחסי ציבור שמעוררים, לדעתו, הייפ מוגזם:

"כמה זמן ייקח [להגיע לבינה מלאכותית כמו בסרטים?] לחוקרי הבינה המלאכותית יש היסטוריה ארוכה של הערכת-חסר של הקשיים בדרך למימוש מכונות אינטליגנטיות. ההתקדמות במחקר היא כמו נסיעה במכונית: כשאתה מגלה טכניקות חדשות זה מרגיש כאילו שאתה נוסע בכביש מהיר ושום דבר לא יכול לעצור אותך. אבל המציאות היא שאנחנו נוסעים בערפל כבד ולא יודעים שבעצם, הכביש המהיר שלנו הוא בסך הכל מגרש חנייה עם קיר לבנים בצדו השני. הרבה אנשים חכמים עשו את הטעות הזו, וכל התפתחות חדשה בבינה מלאכותית מלווה בגל חדש של אופטימיות חסרת גבולות והייפ לא רציוני. אבל גם הכשלונות לא היו אף פעם מוחלטים: הם השאירו מאחוריהם כלים חדשים, רעיונות חדשים ואלגוריתמים חדשים."

אז איפה אנחנו נמצאים: בכביש מהיר, או במגרש חניה? קשה לדעת. הדרך היחידה לגלות היא, כנראה, להמשיך ללחוץ על דוושת הגז בכל הכוח, ולקוות לטוב.
ביבליוגרפיה

http://plato.stanford.edu/entries/computational-mind/
https://ecommons.cornell.edu/bitstream/handle/1813/18965/Rosenblatt_Frank_1971.pdf;jsessionid=4896F3469B3DA338CC28C46405E93DD7?sequence=2
http://csis.pace.edu/~ctappert/srd2011/rosenblatt-congress.pdf
https://web.csulb.edu/~cwallis/artificialn/History.htm
http://web.media.mit.edu/~minsky/papers/SymbolicVs.Connectionist.html
https://www.technologyreview.com/s/546116/what-marvin-minsky-still-means-for-ai/
http://www.kdnuggets.com/2016/09/9-key-deep-learning-papers-explained.html/3
http://www.iep.utm.edu/connect/
http://plato.stanford.edu/entries/connectionism/
http://nautil.us/issue/40/learning/is-artificial-intelligence-permanently-inscrutable
https://intelligence.org/2013/08/25/transparency-in-safety-critical-systems/
http://playground.tensorflow.org/
http://blog.kaggle.com/2014/12/22/convolutional-nets-and-cifar-10-an-interview-with-yan-lecun/
https://plus.google.com/+YannLeCunPhD/posts/Qwj9EEkUJXY
https://www.reddit.com/r/MachineLearning/comments/25lnbt/ama_yann_lecun
http://spectrum.ieee.org/automaton/robotics/artificial-intelligence/facebook-ai-director-yann-lecun-on-deep-learning
https://www.technologyreview.com/s/540001/teaching-machines-to-understand-us/
http://www.macleans.ca/society/science/the-meaning-of-alphago-the-ai-program-that-beat-a-go-champ/
http://www.andreykurenkov.com/writing/a-brief-history-of-neural-nets-and-deep-learning/
http://science.sciencemag.org/content/287/5450/47.full
http://www.blutner.de/NeuralNets/NeuralNets_PastTense.pdf
http://thesciencenetwork.org/programs/cogsci-2010/david-rumelhart-1

https://www.ranlevi.com/texts/deep_learning_text/

Впервые в истории в Азии стало больше миллиардеров, чем в США

...Впервые в истории в Азии стало больше миллиардеров, чем в США - 637 против 563. В Европе проживают 342 человека с состоянием более $$$1 млрд.

Наибольшее число миллиардеров (1271) заработали свое состояние в сфере производства потребительских товаров и ритейле, 903 человека представляют технологический сектор, 832 - сектор финансовых услуг.

Концентрация богатств в руках столь небольшого круга частных лиц схожа с ситуацией в 1905 году, отмечает ведущий автор исследования, глава отдела по работе со сверхбогатыми клиентами в UBS Йозеф Штадлер.

Ниже есть продолжение.

...Совокупное состояние всех долларовых миллиардеров в мире выросло в 2016 году на 17%, достигнув рекордной отметки в $6 трлн, говорится в совместном исследовании консалтинговой и аудиторской компании PwC и банка UBS. Показатель вдвое превышает показатель ВВП Великобритании, отмечает The Guardian.

Совокупное число долларовых миллиардеров увеличилось в прошлом году на 145 человек, до 1542 человек. Статус миллиардера потеряли 45 человек...
http://cursorinfo.co.il/vpervye-v-istorii-v-azii-stalo-bolshe-milliarderov-chem-v-ssha/
http://www.interfax.ru/business/585025

Пинхас Полонский: Творческий вечер