ИИ-помощник теперь находится прямо в курсоре

Google расширила возможности Gemini для MacOS. ИИ-ассистент научился автоматически редактировать надиктованный текст и анализировать содержимое экрана.

Об этом информирует РБК-Украина со ссылкой на Lifehacker.

Разумное диктование без слов-паразитов

Первая новинка — функция «умного диктования» (intelligent dictation), которая активирована по умолчанию для всех пользователей Gemini на Mac.

В отличие от стандартного голосового ввода, который просто превращает звуки в буквы, разработка от Google автоматически улучшает текст непосредственно в местоположении курсора.

При распознавании языка система мгновенно удаляет из текста речевой «мусор» — паузы, засекание и лишние звуки.

Главное удобство состоит в том, что функция работает в любом окне или приложении на Mac: достаточно нажать клавишу Fn и начать говорить.

Это позволяет диктовать черновики писем, сообщений или документы без необходимости переходить в окно чат-бота или вручную править текст.

Больше интересного: Смарт-очки Apple задерживаются: компания боится повторить ошибки Meta

ШИ, который «видит» экран

Второе обновление получило название «умный анализ экрана» (screen-aware reasoning). В отличие от диктовки, эта опция является добровольной и пользователи должны включить ее в настройках самостоятельно.

Функция предоставляет Gemini разрешение анализировать содержимое окон, открытых на мониторе Mac.

Благодаря этому ассистент может выполнять комплексные задачи :

Сводка заметок: если у вас открыто приложение с заметками, зажав Fn, можно попросить ИИ: «Сделай по этому краткий итог для дневной встречи».

Gemini читает текст с экрана, обработает его и вставит готовый результат в нужное место.

Каскадные команды: можно попросить составить письмо, поручив ИИ самостоятельно подтянуть данные из открытых файлов.

Исправление «на лету»: если в процессе диктования вы измените мнение (например, скажете «Нет, перенеси встречу с 18:30 на 19:00»), ИИ поймет контекст и внесет коррективы в итоговый текст.

Читайте больше: Apple готовит новую Siri: зачем компания уже обновила все свои устройства

Угрозы конфиденциальности и риск «промпт-инъекций»

Предоставляя алгоритмам доступ ко всему происходящему на рабочем столе, пользователь неизбежно подвергается рискам конфиденциальности и кибербезопасности.

Главная угроза для подобных ИИ-инструментов с расширенными правами — это так называемые промпт-инъекции (prompt injection).

Хакеры могут скрывать вредоносные команды на веб-сайтах или в документах.

Если пользователь попросит ИИ обработать такую страницу, ассистент воспримет скрытую команду в качестве указания владельца компьютера . В результате ИИ может выполнить вредное действие — например, загрузить опасный файл или попытаться получить доступ к сохраненным данным.

Обновленный Gemini для macOS развертывается глобально на английском языке. Добавление поддержки других языков в Google произойдет позже.

Еще больше интересного:

• Новый гаджет Apple: что будет уметь смарт-кольцо для iPhone, Mac и HomePod
• Microsoft изменяет кибербезопасность: новый ИИ сам находит и закрывает уязвимости