Obervations about Generative AI (Russian, English)

Основано на
https://t.me/spydell_finance/4846
https://t.me/spydell_finance/4847
https://t.me/spydell_finance/4847
https://t.me/spydell_finance/4848
https://t.me/spydell_finance/4849
https://t.me/spydell_finance/4850


Я прогнал это через ChatGPT ;-) и получил следующий пересказ. На русском и в переводе на английский.

There is English translation below.

...экспериментировал с генеративным ИИ (ГИИ) и провел время продуктивно. Вот мои наблюдения относительно его применения для решения конкретных научных и бизнес задач.

Основные выводы:

Ниже есть продолжение.

1. Мощный инструмент с ограничениями:

• Нет самообучения: ГИИ не сохраняет опыт и настройки между сессиями. Это означает, что любая тонкая настройка теряет смысл при реализации сложных задач. Веса нейросетей, которые определяют, как информация обрабатывается и трансформируется, скрыты и недоступны пользователям. Это делает невозможным полноценное самообучение и интеграцию.
• Упрощенная оболочка: ChatGPT, даже с доступом через API, представляет собой упрощенную внешнюю оболочку, тогда как ядро системы (веса) остается закрытым.

2. Не подходит для сложных интегральных проектов:

• Разделение задач: ГИИ не справляется с задачами, требующими учета целостной картины. Можно разбить задачу на множество подзадач с детальным техническим заданием (ТЗ), но это требует значительных усилий и времени.
• Эффективность: Для проектов с накопленным опытом выполнение задач вручную часто оказывается быстрее и эффективнее, чем использование ГИИ. Например, задачи интеграции и визуализации данных, которые занимают от 15 минут до 1.5 часов вручную, через ГИИ могут занимать 3-4 часа и сопровождаться ошибками.

3. Преимущества в неизведанных областях:

• Быстрый поиск ответов: В областях, где у меня нет опыта, ГИИ значительно ускоряет поиск ответов, решая задачи за считанные минуты вместо часов.

4. Ограничения длины контекста:

• Токены: Первые версии GPT-3.5 имели 4096 токенов, последняя версия имеет 16k токенов, GPT-4 до ноября имела 32k, а после ноября GPT-4 Turbo имеет 128k токенов. Токен – это базовая единица информации, используемая моделью для обработки текста.
• Потеря контекста: В рамках одного сеанса ГИИ забывает, о чем была речь в начале обсуждения, что делает невозможным накопление опыта и развернутые обсуждения. Это сравнимо с тем, как если бы человек забывал, что было два дня назад.

5. Компрессия информации:

• Сжатие контента: ГИИ сжимает входные данные, что приводит к потере деталей. Это полезно для создания кратких сводок, но не подходит для анализа информации, где важны нюансы и контекст.
• Примеры использования: ГИИ полезен для автоматизации таймкодов в видео или аудио, создания параграфов и оглавлений для длинных текстов, но не способен передать смысл так, как задумано.

6. Ошибки и галлюцинации:

• Нет фактчекинга: ГИИ часто генерирует убедительные, но неверные ответы. Это делает его ненадежным для задач, требующих высокой точности и достоверности.

Применение ГИИ:

1. Резюмирование и сжатие контента:

• Сжатие контента: ГИИ полезен для создания кратких сводок текстового, видео или аудио контента. Это экономит время и позволяет сосредоточиться на ключевых аспектах.
• Проблемы на практике: На практике ГИИ часто теряет важные детали и нюансы, что делает его менее полезным для анализа информации.

2. Экспертная система:

• Быстрый поиск информации: ГИИ значительно ускоряет поиск и анализ информации, особенно технической документации. Это делает его полезным инструментом для быстрого получения ответов на конкретные вопросы.

3. Решение одномерных задач:

• Декомпозиция задач: ГИИ может помочь в решении отдельных подзадач, но для этого требуется детальное ТЗ. Чем более сжатые границы и четче описаны все переменные и логика решений, тем лучше результат.
• Ошибки и необходимость контроля: ГИИ часто генерирует ошибки, поэтому необходим компетентный оператор для контроля результатов.

Будущее ГИИ:

1. Ограничения текущих версий:

• Нет самообучения: ГИИ не обучается в режиме реального времени на данных, предоставляемых пользователями. Обучение системы могут проводить только инженеры OpenAI и Google.
• Ограниченная длина контекста: Текущие версии ГИИ не способны эффективно обрабатывать большие объемы информации из-за ограниченной длины контекста.

2. Потенциал для автоматизации:

• Быстрый поиск информации: ГИИ может значительно повысить производительность в задачах, связанных с поиском и анализом информации.
• Ограничения в сложных проектах: ГИИ не подходит для сложных интегральных проектов, требует жесткой формализации ТЗ и склонен к ошибкам.

Заключение:

ГИИ – это мощный инструмент, который требует умелого использования и понимания его ограничений. В будущем, с увеличением длины контекста и улучшением алгоритмов, ГИИ может стать еще более полезным. Однако, текущие версии ГИИ не способны

English:

...experimented with generative AI (GAI) and spent my time productively. Here are my observations regarding its application in solving specific scientific and business tasks.

Key Observations:

1. A Powerful Tool with Limitations:

• No Self-Learning: GAI does not retain experience and settings between sessions. This means that any fine-tuning loses its significance when implementing complex tasks. The neural network weights, which determine how information is processed and transformed, are hidden and inaccessible to users. This makes full self-learning and integration impossible.
• Simplified Interface: ChatGPT, even with API access, represents a simplified external interface, while the core of the system (weights) remains closed.

2. Not Suitable for Complex Integral Projects:

• Task Decomposition: GAI cannot handle tasks that require considering the whole picture. One can break down a task into many sub-tasks with detailed technical specifications (TS), but this requires significant effort and time.
• Efficiency: For projects with accumulated experience, performing tasks manually often turns out to be faster and more efficient than using GAI. For example, tasks involving the integration and visualization of data, which take from 15 minutes to 1.5 hours manually, can take 3-4 hours through GAI and still come with errors.

3. Advantages in Unexplored Areas:

• Quick Search for Answers: In areas where I lack experience, GAI significantly speeds up the search for answers, solving tasks in minutes instead of hours.

4. Context Length Limitations:

• Tokens: Early versions of GPT-3.5 had 4096 tokens, the latest version has 16k tokens, GPT-4 had 32k tokens until November, and after November, GPT-4 Turbo has 128k tokens. A token is a basic unit of information used by the model to process text.
• Loss of Context: Within a single session, GAI forgets what was discussed at the beginning, making it impossible to accumulate experience and have extended discussions. This is comparable to a person forgetting what happened two days ago.

5. Information Compression:

• Content Compression: GAI compresses input data, leading to a loss of details. This is useful for creating brief summaries but not suitable for analyzing information where nuances and context are important.
• Usage Examples: GAI is useful for automating timestamps in video or audio, creating paragraphs and tables of contents for long texts, but it cannot convey the intended meaning accurately.

6. Errors and Hallucinations:

• No Fact-Checking: GAI often generates convincing but incorrect answers. This makes it unreliable for tasks requiring high accuracy and reliability.

GAI Applications:

1. Summarization and Compression of Content:

• Content Compression: GAI is useful for creating brief summaries of text, video, or audio content. This saves time and allows focusing on key aspects.
• Practical Issues: In practice, GAI often loses important details and nuances, making it less useful for analyzing information.

2. Expert System:

• Quick Information Search: GAI significantly speeds up the search and analysis of information, especially technical documentation. This makes it a useful tool for quickly obtaining answers to specific questions.

3. Solving Unidimensional Tasks:

• Task Decomposition: GAI can help solve individual sub-tasks, but this requires detailed TS. The more precise the boundaries and the more clearly all variables and logic are described, the better the result.
• Errors and Need for Control: GAI often generates errors, so a competent operator is needed to control the results.

Future of GAI:

1. Current Version Limitations:

• No Self-Learning: GAI does not learn in real-time from user-provided data. Only engineers at OpenAI and Google can train the system.
• Limited Context Length: Current versions of GAI cannot effectively process large volumes of information due to limited context length.

2. Automation Potential:

• Quick Information Search: GAI can significantly increase productivity in tasks related to information search and analysis.
• Limitations in Complex Projects: GAI is not suitable for complex integral projects, requires strict TS formalization, and is prone to errors.

Conclusion:

GAI is a powerful tool that requires skillful use and understanding of its limitations. In the future, with increased context length and improved algorithms, GAI may become even more useful. However, current versions of GAI are not capable of revolutionizing the world and replacing professionals in complex and multidimensional projects.