Integrated over many years of exposure, the algorithmic curation of the information we consume gives the systems in charge considerable power over our lives, over who we become. By moving our lives to the digital realm, we become vulnerable to that which rules it -- AI algorithms.
...The problem with Facebook is not *just* the loss of your privacy and the fact that it can be used as a totalitarian panopticon...
...For Facebook, it's users are the "product". That, in and of itself, isn't a problem. What is a problem is when Facebook or others attempt to influence or shape opinion. Although, again, this isn't new and has been done for years with "old media". The difference is the efficiency with which it can be done via "social" platforms such as Facebook...
There is more below.
יש המשך למטה.
Ниже есть продолжение.
The problem with Facebook is not *just* the loss of your privacy and the fact that it can be used as a totalitarian panopticon. The more worrying issue, in my opinion, is its use of digital information consumption as a psychological control vector. Time for a thread.https://twitter.com/fchollet/status/976563870322999296
The world is being shaped in large part by two long-time trends: first, our lives are increasingly dematerialized, consisting of consuming and generating information online, both at work and at home. Second, AI is getting ever smarter.
These two trends overlap at the level of the algorithms that shape our digital content consumption. Opaque social media algorithms get to decide, to an ever-increasing extent, which articles we read, who we keep in touch with, whose opinions we read, whose feedback we get.
Integrated over many years of exposure, the algorithmic curation of the information we consume gives the systems in charge considerable power over our lives, over who we become. By moving our lives to the digital realm, we become vulnerable to that which rules it -- AI algorithms.
If Facebook gets to decide, over the span of many years, which news you will see (real or fake), whose political status updates you’ll see, and who will see yours, then Facebook is in effect in control of your political beliefs and your worldview.
This is not quite news, as Facebook has been known to run since at least 2013 a series of experiments in which they were able to successfully control the moods and decisions of unwitting users by tuning their newsfeeds’ contents, as well as prediction user's future decisions.
In short, Facebook can simultaneously measure everything about us, and control the information we consume. When you have access to both perception and action, you’re looking at an AI problem. You can start establishing an optimization loop for human behavior. A RL loop.
A loop in which you observe the current state of your targets and keep tuning what information you feed them, until you start observing the opinions and behaviors you wanted to see.
A good chunk of the field of AI research (especially the bits that Facebook has been investing in) is about developing algorithms to solve such optimization problems as efficiently as possible, to close the loop and achieve full control of the phenomenon at hand. In this case, us.
This is made all the easier by the fact that the human mind is highly vulnerable to simple patterns of social manipulation. While thinking about these issues, I have compiled a short list of psychological attack patterns that would be devastatingly effective.
Some of them have been used for a long time in advertising (e.g. positive/negative social reinforcement), but in a very weak, un-targeted form. From an information security perspective, you would call these "vulnerabilities": known exploits that can be used to take over a system.
In the case of the human mind, these vulnerabilities never get patched, they are just the way we work. They’re in our DNA. They're our psychology. On a personal level, we have no practical way to defend ourselves against them.
The human mind is a static, vulnerable system that will come increasingly under attack from ever-smarter AI algorithms that will simultaneously have a complete view of everything we do and believe, and complete control of the information we consume.
Importantly, mass population control -- in particular political control -- arising from placing AI algorithms in charge of our information diet does not necessarily require very advanced AI. You don’t need self-aware, superintelligent AI for this to be a dire threat.
So, if mass population control is already possible today -- in theory -- why hasn’t the world ended yet? In short, I think it’s because we’re really bad at AI. But that may be about to change. You see, our technical capabilities are the bottleneck here.
Until 2015, all ad targeting algorithms across the industry were running on mere logistic regression. In fact, that’s still true to a large extent today -- only the biggest players have switched to more advanced models.
It is the reason why so many of the ads you see online seem desperately irrelevant. They aren't that sophisticated. Likewise, the social media bots used by hostile state actors to sway public opinion have little to no AI in them. They’re all extremely primitive. For now.
AI has been making fast progress in recent years, and that progress is only beginning to get deployed in targeting algorithms and social media bots. Deep learning has only started to make its way into newsfeeds and ad networks around 2016. Facebook has invested massively in it.
Who knows what will be next. It is quite striking that Facebook has been investing enormous amounts in AI research and development, with the explicit goal of becoming a leader in the field. What does that tell you? What do you use AI/RL for when your product is a newsfeed?
We’re looking at a powerful entity that builds fine-grained psychological profiles of over two billion humans, that runs large-scale behavior manipulation experiments, and that aims at developing the best AI technology the world has ever seen. Personally, it really scares me.
If you work in AI, please don't help them. Don't play their game. Don't participate in their research ecosystem. Please show some conscience.
Yep. For Facebook, it's users are the "product". That, in and of itself, isn't a problem. What is a problem is when Facebook or others attempt to influence or shape opinion. Although, again, this isn't new and has been done for years with "old media". The difference is the efficiency with which it can be done via "social" platforms such as Facebook.
The hurdles to influence behavior around voting can be much lower than buying habits. Identifying 'fears' and amplifying them is a time honored skill of the propagandist. AI could add to the already well understood toolset: http://openhighschoolcourses.org/mod/book/tool/print/index.php?id=1073
And as soon as possible right? Reduce the dynamic time after tuning to as short as possible to start producing the desired results as soon as possible.
העולם שלנו מעוצב באופן ניכר ע״י שתי מגמות ארוכות טווח: אנחנו צורכים ויוצרים מידע ברשת, בבית ובעבודה, והחיים שלנו הולכים ועוברים לשם. באותו הזמן, האינטליגנציה המלאכותית הולכת ונהיית חכמה יותר ויותר.
שתי המגמות האלה נפגשות באלגוריתמים שקובעים את צריכת המידע שלנו: אלגוריתמים אטומים שקובעים יותר ויותר איזה מאמרים נקרא, עם מי נהיה בקשר, את הדעות של מי נקרא, מי יענה לדברים שאנחנו כותבים.
אחרי הרבה שנים של חשיפה אלינו, האלגוריתמים האלה שאוצרים את המידע עבורנו, נותנים למערכת ששולטת עליהם כוח משמעותי להשפיע על החיים שלנו, ולקבוע למה אנחנו עשויים להפוך. ככל שאנחנו מעבירים יותר מהחיים שלנו לממלכה הדיגיטלית, אנחנו הופכים יותר פגיעים לשליטים של הממלכה הזו: האלגוריתמים.
אם פייסבוק יכולה להחליט, במהלך תקופה של שנים רבות, איזה חדשות תראה (אמיתיות או מזויפות, לא משנה), איזה סטטוסים פוליטיים תראה, מי יראה את אלה שאתה כותב, אז פייסבוק שולטת למעשה על האמונות הפוליטיות ועל תפיסת העולם שלך.
כל זה לא ממש חדש. הרי ידוע שפייסבוק הריצה מאז 2013 סדרה של ניסויים שבהם הודגמה בהצלחה היכולת לשלוט על מצב הרוח וההחלטות של משתמשים ללא ידיעתם ע״י כיוונון של תוכן הפיד שלהם, ובנוסף גם לחזות את ההחלטות העתידיות שלהם.
בקיצור, פייסבוק יכולה, בעת ובעונה אחת, גם למדוד כל דבר אודותינו, וגם לשלוט במידע שאנחנו מקבלים. וכשיש לך אפשרות לקרוא גם את תפיסת המציאות וגם את פעולה הנוצרת ממנה, אז יש לפניך בעיית AI קלאסית. ואתה יכול עכשיו לבנות לולאת אופטימיזציה להתנהגות אנושית. לולאה של למידת חיזוק (Reinforcement learning).
לולאה שבה אתה צופה במצבה הנוכחי של המטרה שלך, ומכוון בזהירות את המידע שאתה מאכיל אותה, עד שאתה מצליח להוציא ממנה את ההתנהגות ואת הדעות שרצית.
חלק רציני מהשדה של מחקר אינטליגנציה מלאכותית (ובמיוחד החלקים שפייסבוק משקיעה בהם) עוסק בפיתוח אלגוריתמים שיכולים לפתור בעיות אופטימיזציה כאלה באופן היעיל ביותר. לחבר את שני צידי הלולאה הזו ולהשיג שליטה מלאה על התופעה שבה אנו עוסקים. במקרה הזה, שליטה עלינו.
וזה לא כל כך קשה, כי המוח האנושי פגיע במיוחד לדפוסים פשוטים של מניפולציה חברתית. בזמן שחשבתי על זה, כבר הכנתי לעצמי רשימה קצרה של דפוסי התקפה פסיכולוגיים שיכולים להיות אפקטיביים באופן הרסני. חלקם נמצאים בשימוש כבר זמן רב בתעשיית הפרסום (למשל חיזוק חברתי חיובי או שלילי), אבל באופן חלש ולא ממוקד. אם נסתכל על זה מנקודת מבט של אבטחת מידע, נוכל לקרוא להם ״נקודות תורפה״: אפשרויות ניצול (exploites) שיכולות לשמש אותנו כדי להשתלט על מערכת כלשהי.
ובמקרה של המוח האנושי, נקודות התורפה האלה לעולם לא יתוקנו - הן פשוט האופן שבו אנחנו פועלים. הן בתוך ה-DNA שלנו. הן הפסיכולוגיה שלנו. ברמה האישית, אין לנו כל דרך פרקטית להגן על עצמנו ממישהו שינצל את נקודות התורפה האלה.
המוח האנושי הוא מערכת סטטית, פגיעה, שהולכת למצוא את עצמה תחת התקפה מתגברת והולכת של אלגוריתמים של בינה מלאכותית, שילכו ויהפכו חכמים יותר ויותר. ויהיה להם מבט מגבוה על כל מה שאנחנו עושים, כל מה שאנחנו מאמינים בו, ובאותו הזמן ממש גם שליטה מלאה על המידע שאנחנו צורכים.
חשוב להגיד, שליטה המונית על אוכלוסיה - ובמיוחד שליטה פוליטית - המושגת מהצבת אלגוריתמים כדי לקבוע איזה מידע נקבל, אינה מצריכה רמה גבוהה במיוחד של אינטליגנציה מלאכותית. לא צריך כאן ישות סופר-אינטליגנטית, מודעת-לעצמה כדי להוות איום חמור.
אז אם שליטה המונית באוכלוסיה אפשרית כבר היום - בתאוריה לפחות - אז למה עדיין העולם לא הגיע לקיצו? אני חושב שהסיבה היא שאנחנו עדיין די גרועים בעסק הזה של AI. אבל זה עשוי להשתנות. תבינו, צוואר הבקבוק כאן הוא היכולות הטכנולוגיות שלנו.
עד 2015, כל האלגוריתמים למיקוד (Targeting) פרסומות, לרוחב כל התעשייה, עבדו באמצעות רגרסיה לוגיסטית פשוטה. למעשה, זה נכון במידה רבה אפילו היום: רק השחקנים הגדולים ביותר עברו למודלים מתקדמים יותר.
זו הסיבה שכל כל הרבה מודעות שאנחנו רואים כל היום ברשת לא קשורות לכלום. אין בהן שום תחכום. ובאותו האופן, הבוטים במדיה החברתית שהופעלו ע״י מדינות עוינות כדי להשפיע על דעות הציבור הכילו מעט מאוד אינטליגנציה מלאכותית, אם בכלל. הם פרימיטיביים לחלוטין.
בינתיים.
האינטליגנציה המלאכותית התקדמה במהירות רבה בשנים האחרונות, וכל הקדמה הזאת מתחילה רק עכשיו לעבוד באלגוריתמים למיקוד פרסומות ובבוטים לרשתות חברתיות. רק בסביבות 2016 החלה הלמידה העמוקה להכנס לפיד החדשות ולרשתות הפרסום. פייסבוק השקיעה בכך השקעה עצומה.
מי יודע מה יבוא עכשיו? זה די מדהים לראות את ההשקעה הענקית של פייסבוק במחקר ופיתוח של אינטליגנציה מלאכותית, עם המטרה המוצהרת להיות המובילה בתחום. מה כל זה אומר לכם? מה היית עושה עם כל זה אם המוצר שלך הוא פיד החדשות?
נמצאת לפנינו ישות רבת עוצמה שבונה פרופילים פסיכולוגיים מדויקים ופרטניים של יותר משני מליארד אנשים, שמריצה ניסויי ענק במניפוליציה התנהגותית, ושמתכוונת לפתח את טכנולוגיית הבינה המלאכותית הטובה ביותר בעולם ... אותי אישית זה מפחיד מאוד.
אם אתה עובד באינטליגנציה מלאכותית, בבקשה, אל תעזור להם. אל תשחק את המשחק שלהם. אל תשתתף בסביבת המחקר שלהם [תשתמש רק ב-Keras?]. בבקשה, קצת מצפון.
https://www.facebook.com/alexander0berkovich/posts/10214378533670694
No comments:
Post a Comment