Как включить переводчик в опере

Упрощение работы с переводом страниц в Опере

Посещение иностранных веб-ресурсов может быть затруднительным для тех, кто не владеет иностранным языком. Перевод каждой страницы может быть сложной задачей и занимать много времени.

Включение переводчика в Опере

Одним из способов упростить процесс перевода страниц сайтов в браузере Opera является установка дополнения Google Translate. Встроенного переводчика в Опере нет, поэтому добавление расширения позволит автоматически переводить страницы на нужный язык.

Как установить Google Translate в Опере

1. Перейдите в магазин дополнений Opera.
2. Найдите расширение Google Translate и установите его.
3. После установки, перейдите на сайт, который нужно перевести.
4. Выделите текст на странице, который нужно перевести.
5. Щелкните по значку Google Translate в правом верхнем углу браузера.

Теперь текст будет переведен на выбранный вами язык. Установка дополнения Google Translate в браузер Opera поможет с легкостью переводить иностранные страницы без лишних усилий.

Как перевести страницу в браузере Opera

Если пользователь хочет получить доступ к данным на странице целиком, ему потребуется кликнуть правой кнопкой мыши на свободной области. В выпадающем списке нужно выбрать Переводчик Google и затем нажать на опцию Перевести страницу на русский.

После этого большинство текстовых данных на сайте (за исключением текста на изображениях) будет показано на русском языке, что позволит пользователю понять основной смысл содержания.

Функция Flow в браузере Opera

Flow в Opera позволяет организовать работу на нескольких устройствах одновременно, экономя время на передаче важной информации. Эта функция предоставляет возможность отправлять ссылки на сайты, видеозаписи, изображения и заметки на любое устройство, просто настроив соединение.

Такое взаимодействие удобно для синхронизации между ПК и смартфоном. Важно отметить, что соединение обеспечивается конфиденциально, и все данные шифруются в момент отправки.

Google Переводчик в браузере Opera

Google Переводчик позволяет переводить выделенный текст (до 5000 знаков), слова, фразы и веб-страницы, а также озвучивать текст синтезатором речи.

Приложения для перевода:

• Inline Translator (встроенный перевод): Ctrl+Alt+C
• Translator (перевод в окне): Ctrl+Alt+Z
• Pop-up Bubble (всплывающий перевод): Ctrl+Alt
• Webpage Translation (перевод веб-страниц): Ctrl+Alt+P
• Dictionary (перевод слов)

Функциональность:

• Языки перевода: 91
• Перевод текста размером до 5000 знаков
• Перевод слов с помощью словаря
• Перевод выделенного текста на веб-странице
• Перевод полной веб-страницы с возможностью перевода при наведении мыши
• Озвучивание текста на 30 языках
• Сохранение истории переводов
• Автоматическое определение языка
• Возможность обратного перевода
• Выбор и настройка быстрых клавиш
• Полная настройка приложений перевода
• Локализация пользовательского интерфейса

Поддерживаемые языки

Список поддерживаемых языков для переводчика в Яндекс.Браузере:

• азербайджанский
• албанский
• английский
• арабский
• армянский
• африкаанс
• баскский
• белорусский
• бенгальский
• бирманский
• болгарский
• боснийский
• валлийский
• венгерский
• вьетнамский
• галисийский
• греческий
• грузинский
• гуджарати
• датский
• зулу
• иврит
• игбо
• идиш
• индонезийский
• ирландский
• исландский
• испанский
• итальянский
• йоруба

Как работает переводчик в Яндекс.Браузере

Принцип работы встроенной системы перевода прост. Яндекс использует свой переводчик с одноименного сайта как для ручного, так и для автоматического перевода.

Когда браузер обнаруживает язык страницы, который не совпадает с языком системы, он предлагает перевести текст страницы. Перевод происходит на серверах Яндекса, поэтому необходимо подключение к Интернету для работы.

Как пользоваться переводчиком в Яндекс.Браузере

Переводчик можно запустить несколькими способами. Если браузер не предложил автоматический перевод, можно включить функцию вручную.

Ручной перевод

Чтобы перевести страницу самостоятельно:

1. Нажмите на значок перевода в адресной строке
2. Выберите язык для перевода

Также переводчик можно активировать просто выделив текст на странице и нажав на значок перевода.

После этого страница будет переведена без необходимости перезагрузки.

Вот результат перевода. На самом деле, не очень качественный.

Яндекс.Браузер и перевод текста: советы по использованию

К качеству перевода, конечно, есть вопросы. Но это уже проблема нейросетей и алгоритмов Яндекса. С ними ничего не поделаешь.

Автоматический перевод

Проще всего переводить тексты, когда браузер сам определяет язык и предлагает изменить его. В этом случае в верхнем правом углу программы появляется сообщение с предложением перевести страницу. Чтобы это сделать:

• Если вам достаточно оригинала, то пользоваться переводом необязательно. Просто нажимаем Не сейчас и все.

Яндекс.Браузер переводит все, что попадает в его поле зрения. Даже всплывающие окна в Википедии.

Перевод отдельных слов и параграфов

Для удобства можно переводить не весь текст, а отдельные слова или фразы. К тому же перевод по одному слову можно использовать для поиска словарных единиц с дополнительной информацией.

Для перевода отдельного слова:

• В самом низу контекстного меню появится перевод слова из словаря с разными вариантами значения, а также с частью речи.

Еще один вариант для перевода отдельного слова — навести курсор на это слово, а потом зажать клавишу Shift.

Для перевода фразы или абзаца:

• В нижней части контекстного меню появится перевод, выполненный с помощью алгоритмов Яндекс.Переводчика.

• В этом же меню есть несколько дополнительных опций. Во-первых, переведенный текст можно воспроизвести. При переводе на иностранные языки так удобно сразу услышать звучание слов.

Чтобы озвучить текст:

Во-вторых, можно выбрать другой язык.

Как пользоваться переводчиком в мобильной версии Яндекс.Браузера

Этот элемент скрыт на стартовой странице.

Чтобы откатить перевод:

Вернуться к оригиналу можно с помощью той же кнопки.

В отличие от компьютерной версии браузера, мобильный Яндекс не умеет переводить текст в Режиме чтения (когда со страницы удаляются все лишние элементы, включая рекламные баннеры, и остается только текст).

Подтверждение того, что текст не переводится в «Режиме чтения»

На Android

После этого в верхней части сайта появится желтый баннер, указывающий на язык перевода. Чтобы отменить перевод:

Так выглядит страница, если закрыть баннер

В Android можно переводить отдельные слова и фразы. Для этого:

В открывшемся окне можно поменять языки местами, добавить слово в избранные или воспроизвести вслух выделенный текст.

Переводчик может работать и в других приложениях

Как настроить или выключить переводчик в Яндекс.Браузере

Здесь можно более тонко настроить поведение переводчика (обо всех перечисленных здесь функциях я уже написал выше). Или выключить его, убрав все четыре галочки.

А затем заменить более удачным приложением.

Другие переводчики

Если по какой-то причине вас не устраивает, как работают алгоритмы перевода Яндекса, в браузер можно загрузить другой переводчик.

По сути, Яндекс.Браузер – это тот же Chrome или Opera. Просто с другой оболочкой. Поэтому он без проблем поддерживает расширения для этих браузеров.

Чтобы их загрузить:

Я бы рекомендовал загрузить Google Translate. Разработчики Google пока лидируют в этой области. Перевод будет лучше. Он так же работает из контекстного меню и умеет переводить целые страницы, поэтому никаких ограничений вы не почувствуете. В идеале вообще установить Google Translator.

Это неофициальное дополнение, но оно использует сервис перевода компании Google. У него аккуратный и понятный интерфейс, а перевод осуществляется прямо в расширении (обычно такие расширения просто перебрасывают пользователя на сайт переводчика). Очень практичная штука. К тому же, ее можно установить и в другие браузеры, если пользуетесь несколькими.

Похожим образом работает Mate Translate. У него даже есть приложения для Windows и macOS. Правда, они не бесплатные. Так что если пользуетесь переводчиком очень часто и готовы за него даже платить, то рассмотрите в качестве альтернативы Mate.

Если нужно перевести страницы сайтов, не обязательно копировать их и вставлять в какой-нибудь онлайн-переводчик. В Opera, как и других браузерах, есть расширения, которые умеют распознавать разные языки. Используйте их для быстрого перевода сайтов.

Важно: чтобы установить приложение для перевода, откройте главное меню Opera, выберите раздел «Расширения» и нажмите «Загрузить». Откроется магазин расширений, в котором можно использовать поисковую строку или перейти в категорию «Перевод».

В Opera много расширений, которые можно установить для расширения функциональности

Расширение для перевода от Google переводит выделенный текст до 5000 символов, отдельные слова, фразы и активные веб-страницы. Доступна функция озвучивания речи встроенным голосовым синтезатором.

Google Translate – самый известный онлайн-переводчик

Расширение состоит из нескольких приложений, которые вызываются горячими клавишами:

Расширение поддерживает 91 язык. Озвучивание с помощью голосового синтезатора доступно для 30 языков. История переводов сохраняется. Вы можете выбрать язык вручную или довериться системе автоматического определения. Google Translate переводит не только контент, но и пользовательский интерфейс, делая сёрфинг иностранных сайтов максимально удобным вне зависимости от ваших лингвистических способностей.

Translator

Ещё одно расширение Opera для перевода иностранного текста или страницы. Распознаёт выделенные или набранные фрагменты. В работе расширения используются сервисы перевода Google, Bing, Promt, Urban Dictionary, Яндекса и других проверенных решений. Это обеспечивает высокую функциональность и точность перевода.

Мощный переводчик, который использует сразу несколько лингвистических систем

Перевести текст можно двумя способами:

Если требуется перевести веб-страницу со всеми кнопками и элементами интерфейса, то можно также воспользоваться двумя методами:

Приложение умеет также озвучивать переведённый текст, однако продолжительность фрагмента ограничена 100 символами. Снять лимит нельзя.

Mate Translate

Универсальный переводчик для браузера Opera. Поддерживает перевод со 103 языков. Результат обработки текста можно сохранить в автономном режиме, чтобы вернуться к нему в любой момент. В настройках расширения предусмотрена синхронизация данных, которая позволяет получать доступ к переводу с любого устройства. Кроме академических словарей в базе расширения есть пользовательские разговорники, позволяющие следить за современной речью в разных странах. Есть функция голосового воспроизведения перевода и транслитерация.

Очень удобное расширение для перевода фрагментов текста и целых страниц

По умолчанию в настройках Mate Translate устанавливается язык, на который будут переводиться все тексты. Приложение умеет работать с фрагментами текста и целыми веб-страницами:

ABBYY Lingvo Live

Расширение от одного из лидеров в области распознавания текстов, обработки информации и лингвистики. Позволяет быстро переводить отдельные слова и практиковать знание языка с помощью разговорника и тестовых заданий.

С ABBYY Lingvo Live можно не только переводить, но и практиковать язык

ABBYY Lingvo Translator+ содержит более 130 словарей для 14 языков, в том числе народный словарь, основанный на пользовательских вариантах перевода. Вы можете также принять участие в совершенствовании продукта, задавая вопросы внутри сообщества ABBYY Lingvo, предлагая свои значения слов и фраз, оценивая и комментируя переводы других участников.

В настройках расширения можно выбрать язык по умолчанию, на который будет выполняться перевод. Чтобы перевести слово на странице, нужно выделить его или дважды кликнуть по нему левой кнопкой мыши. В параметрах расширения есть строка, в которой можно вводить слова и указывать, с какого на какой язык нужно перевести фразу. Уникальная функция Lingvo Translator — разговорник, который через практику помогает изучать разные языки.

Yandex.Translate Sidebar

Расширение для перевода, которое работает на основе лингвистического сервиса от Яндекса. Представляет собой небольшое окно, расположенное в сайдбаре. Это отличное решение для тех, кто не любит всплывающие окна и кнопки при работе с текстом, а просто хочет всегда иметь под рукой окно переводчика.

Интерфейс на турецком не должен смущать – на работе переводчика это не влияет

Yandex.Translate Sidebar предлагает такую же функциональность, как и сайт Яндекс.Переводчика. Можно выбирать исходный и конечный языки, переводить фрагменты текста, веб-сайты и даже содержимое картинок. Единственное ограничение — размер текста, он не должен быть больше 10 000 знаков.

Итак, вы ознакомились с нашим рейтингом лучших переводчиков для Opera и уже определились с фаворитом. Как же установить его в браузер? К счастью, тут все просто. Переводчики устанавливаются так же, как и все другие расширения.

На этом все! Всего вам наилучшего!

Браузеры Opera и Opera GX получили ряд новых инструментов на базе искусственного интеллекта, а именно: «умные» подсказки AI Prompts, а также доступ к чат-ботам ChatGPT и ChatSonic в боковой панели

Сегодня Opera Software сообщила о том, что ее браузеры Opera и Opera GX получили новые инструменты на базе искусственного интеллекта. Компания в феврале объявила о планируемой интеграции сервисов контента, созданного с помощью искусственного интеллекта, включая чат-бота ChatGPT, в свои веб-браузеры для компьютеров и мобильных устройств. Как отмечает компания, эти нововведения значительно обогатят опыт пользователей при пользовании интернетом и помогут им насладиться более интеллектуальным и персонализированным веб-серфингом.

Новые функции на базе ИИ в браузерах Opera и Opera GX, такие как AI Prompts, ChatGPT и ChatSonic, обещают улучшить пользовательский опыт и облегчить поиск информации в интернете. Однако, они находятся на стадии раннего доступа и для их использования потребуется авторизация через аккаунты в сервисах ChatGPT и ChatSonic.

«Умные» подсказки

AI Prompts — это новый инструмент, который теперь является встроенной функцией браузера Opera и использует возможности ChatGPT и ChatSonic. Он позволяет пользователям быстро и эффективно преобразовывать выделенный текст на странице.

Если текст слишком длинный или запутанный, AI Prompts сможет сократить его, объяснить или даже создать твит на основе данного текста. Все это делает AI Prompts незаменимым инструментом для интерпретации, сокращения и исследования веб-страниц.

«Умные» подсказки AI Prompts предлагают пользователям различные действия в зависимости от выделенного текста. Примеры запросов:

ChatGPT и ChatSonic в боковой панели

Помимо AI Prompts, в браузерах Opera и Opera GX теперь доступны в боковой панели популярные чат-боты на основе технологии GPT – ChatGPT и ChatSonic. Они способны оказать помощь с широким спектром запросов, таких как генерация идей, составление резюме, перевод текста, создание маршрутов и многое другое. ChatSonic – это альтернативный сервис OpenAI, поддерживающий модель GPT-4, выпущенную в марте 2023 года. ChatSonic даже способен создавать изображения по запросу пользователя.

ChatGPT и ChatSonic в сайдбаре браузера, которые помогут пользователю с широким спектром задач, таких как:

Установка и использование

Затем в настройках браузера нужно активировать опцию "AI Prompts" в разделе "Простая настройка". В Opera GX также необходимо включить опцию "Early Bird" в настройках браузера.

Для использовании ChatGPT в России без VPN вы можете настроить Comss.one DNS непосредственно в браузере Opera.

Как настроить Comss.one DNS в Opera

Обновления программ, что нового

Перевод выделенного или введенного текстов

Автоматический перевод иностранного текста или страниц.

Помощь в переводе введённого текста, выделенного текста, активной страницы.Это расширение использует сервисы перевода от Google, Bing, Яндекс, Promt, Pragma, Baidu, DeepL, Urban Dictionary или Babylon Переводчик и Словари (на выбор).

Как перевести текст:метод 1: выделите необходимый текст на интернет странице и нажмите на кнопку расширения.метод 2: нажмите кнопку расширения, введите необходимый текст в верхнем поле ввода и нажмите на кнопку "Перевести".

Известные ошибки:- простой дизайн расширения. Можете предложить лучше? :)- озвучивание текста ограничено 100 символами. Это не профильная функция ;)- Pragma Переводчик не поддерживает некоторые языки и не всегда корректно определяет исходный язык.- иногда Pragma не работает. Попробуйте вручную открыть ссылку http://translate.ua/on-line перед его использованием.

Уведомление о конфиденциальности:Если кликнуть на кнопку расширения с жёлтым маркером, выделенный текст будет переведён автоматически.

Сегодня мы выпускаем большое обновление для Браузера с рекордным числом изменений, в основе которых лежат нейросети или другие методы машинного обучения. Теперь Браузер исправит ошибки в тексте, сократит или улучшит его, перескажет видео с японского или корейского, распознает QR-код в трансляции и предложит перейти по ссылке в один клик, а также защитит от фишинг-страниц и не только.

В этой статье расскажем, как мы обучали нейросеть с помощью учебника Розенталя, как модель, отвечающая за субтитры, понимает, что начал говорить другой человек, почему не каждый QR-код легко распознать и за счёт чего мы научились ловить фишинговые сайты, которые появились буквально 5 минут назад. Обо всём этом — под катом.

Исправление ошибок, улучшение и сокращение

Одна из главных новых нейросетевых функций в Браузере — «Помощь с текстом» на основе YandexGPT. Она проверит орфографию и расставит знаки препинания. А если, например, не получается уложиться в формат по количеству знаков, сократит написанный текст и сделает его более понятным и структурированным.

За каждое действие отвечают разные модели. Почему они разные? Потому что в режиме редактирования нам нужно, чтобы модель исправила ошибки в тексте, а в режимах сокращения и улучшения — переформулировала его. Поговорим о каждой по порядку.

Исправить ошибки

Многие люди, которые используют языковые модели для работы с текстами, сталкиваются с одной и той же проблемой. Допустим, в тексте есть десять ошибок, вы отдаёте его модели, а в итоге получаете практически полностью переписанный текст. Модель отработала по принципу «нет слова — нет ошибки». Но это явно не то, чего вы хотели.

Для начала мы проверили самую важную гипотезу: может ли эта модель вообще не переписывать текст. Это была наша первая ключевая проверка. Мы взяли тексты, удалили из них все знаки препинания и заглавные буквы — это то, что мы подавали модели на вход. На выходе мы поставили оригиналы текстов. На этом мы обучили модель. Потом дали ей 100 текстов нашего валидационного датасета и попросили расставить знаки препинания. Она прекрасно справилась с заданием и ничего не дописала (diff по Левенштейну был нулевым), а это — победа.

Для обучения нейросети мы составили датасет: взяли 5000 текстов из публичного доступа в интернете. Нам было важно, чтобы это были живые тексты: где-то был сленг, мат, специальные символы. В общем, любой шум, который мог усложнить задачу.

После этого мы с редактором взяли учебник Розенталя — пожалуй, главный учебник русского языка — и прошлись по всем примерам. Но мы не вычищали эти тексты до идеала: мы исправляли пунктуацию и орфографию — условно, хардкорные ошибки. Мы хотели сохранить стилистические штуки типа англицизмов и плеоназмов (когда слова полностью или частично дублируют смысл друг друга — например, «коллега с работы» или «краткое резюме»). Нам было важно, чтобы модель научилась отличать орфографическую или пунктуационную ошибку от разговорной речи. Затем мы составили инструкции и попросили редакторов-асессоров по ним исправить тексты.

На этом этапе у нас был готов датасет, и мы загрузили его в модель побольше, чтобы повысить качество. Чтобы проверить работу модели, мы прогнали через неё валидационный датасет и получили хорошие результаты. Сейчас наша модель исправляет 97% ошибок — пропускает одну ошибку в тексте на 5000 знаков. Мы планируем улучшить этот показатель до 99% — смотрим, какие ошибки даются модели труднее всего, и дособираем датасет по ним.

Сократить и улучшить

Теперь поговорим про модели, которые отвечают за сокращение и улучшение текста. При сокращении мы следим за тем, чтобы текст на выходе не терял важные факты, сохранял тон и стилистику, а нейросеть не придумывала ничего лишнего. Как и в случае с исправлением ошибок, мы обучили модель на датасете, который разметили редакторы.

Работу модели мы оцениваем по нескольким критериям: сократился ли текст, дописала ли модель что-то новое, сохранила ли она важные факты, а также тон и стиль автора. В 95% случаев модели удаётся добиться заметного сокращения текста.

Улучшить — значит привести текст к нормам русского языка, структурировать его и сделать понятнее. Здесь мы получили модель на основе нашей большой модели YandexGPT 2 и специально подобранного промта. Мы прогнали собранные в интернете тексты через большую модель и получили датасет, на котором уже обучили маленькую модель улучшения текста.

Оценить работу модели достаточно сложно, потому что понятие хорошего текста весьма субъективно. Мы определили такие критерии: сохранение важных фактов, тона и стиля автора, а также стал ли текст приятнее и понятнее. На первых порах модель работала с фактами не очень хорошо: она их периодически теряла. Нам помогло дообучение на датасете, который мы разметили вручную.

Все три модели улучшения текста работают в любом текстовом поле любого сайта. Например, в браузерных версиях мессенджеров Telegram и WhatsApp, в полях комментариев и постов в VK, ОК и других соцсетях, а также в электронной почте. Сейчас мы работаем над тем, чтобы модель начала работать в текстовых редакторах, например, в Google Docs.

Улучшение текста пока работает только для русского языка, но мы планируем заточить их и под работу с английским. Кроме того, мы хотим попробовать добавить функцию перевода или изменения стилистики (например, сделать текст более весёлым или, наоборот, серьёзным). Если у вас есть идеи, какие ещё инструменты для работы с текстом были бы полезны, пишите их в комментариях.

Новые языки, спикеры в субтитрах, распознавание QR-кодов

Мы добавили новые языки, с которых можно перевести видео — японский и корейский. Почему именно они? Во-первых, это одни из самых распространённых и популярных азиатских языков наряду с китайским. Во-вторых, нам пришло много запросов на добавление именно этих языков. Вы просили — мы сделали.

В целом, когда мы работали над переводом с китайского, то мы рассчитывали добавить и другие азиатские языки. Тогда нам удалось собрать фреймворк, который можно без проблем масштабировать. Для сравнения: над китайским мы работали около семи месяцев, а корейский и японский нам удалось раскатать примерно в два раза быстрее. Мы уже знали, как собирать и обрабатывать датасет, как организовать процесс перевода, чтобы в итоге не потерять контекст.

Перевод с японского и корейского работает на YouTube. Но если вам нужен перевод на других платформах, напишите в комментариях, на каких и почему.

Также мы добавили полезную функцию в нейросетевые субтитры. Дело в том, что чаще всего субтитры на разных платформах не предполагают разбивку на спикеров: когда говорят несколько человек, то отображается сплошной текст, который в лучшем случае разделён точками. Мы научили Браузер определять смену говорящего: речь нового спикера будет начинаться с новой строки и с тире. Это ощутимо повышает читаемость и удобство — не нужно следить, кто сейчас говорит какую фразу. К тому же это плюс к теме доступности: людям с нарушениями слуха гораздо комфортнее смотреть видео и воспринимать происходящее.

У нас уже были модели, которые поддерживают смену спикера. Например, в озвучке применялся Multi-Voice: модель выбирает разные голоса для разных спикеров и озвучивает видео. Отображать смену спикера в субтитрах проще: пайплайн присылает нам явный тег, что говорят разные люди, и Браузер понимает, что нужно визуально обработать смену спикера.

Суммаризация с восьми иностранных языков

Ещё одна приятная новость — мы обновили суммаризацию видео. Теперь Браузер может пересказывать видео с английского, немецкого, французского, итальянского, испанского, китайского, японского и корейского языков. Сам пересказ будет на русском языке. А ещё мы добавили новые площадки: кроме видео на YouTube, Браузер может пересказать видео в VK, Дзене и Рутубе. Так что посмотреть несколько научных конференций на разных языках за один вечер стало вполне реально.

Как работает суммаризация видео, мы скоро расскажем в отдельной статье. К действующей модели мы добавили распознавание входного языка. Если это русскоязычное видео, то весь процесс идёт по обычной схеме: перевод видео в текст, ASR, биометрия (тут мы тоже следим за сменой спикера), чаптеринг, расстановка пунктуации. Если нам нужна суммаризация видео на иностранном языке, то мы начинаем с подобной обработки оригинальной звуковой дорожки, а потом отдаём результат модели, которая переведёт его на русский.

В видео довольно часто встречаются QR-коды. Например, по нашей статистике около 20% пользователей, которые пользуются видеоплатформами, ежедневно встречают их в роликах. На десктопе работать с QR сложно: нужно тянуться за телефоном или делать скриншот, чтобы расшифровать код в стороннем сервисе. Поэтому мы решили облегчить пользователям жизнь и научили Браузер распознавать QR-коды на видео.

Весь процесс происходит локально. При воспроизведении видео Браузер раз в секунду делает его скриншот. Затем снимки обрабатываются: например, если пользователь смотрит видео 4K или 8K, то скриншоты получатся большим и в итоге сильно нагрузят систему, поэтому мы ужимаем их до FullHD. А если видео не самого высокого качества — улучшаем и детализируем изображение. Скриншоты нигде не сохраняются, а сразу отправляются во встроенную библиотеку, которая понимает, есть ли на полученной картинке QR-код.

В качестве инструмента для самого распознавания мы взяли опенсорс-библиотеку ZXing с небольшими, но важными доработками с нашей стороны. Она возвращает распознанный текст и координаты QR-кода. По координатам Браузер отрисовывает кнопку и рамку вокруг QR. Сценарий использования кнопки зависит от распознанного текста: если это ссылка, то по ней можно перейти, а если это текст, то скопировать.

В целом алгоритм выглядит простым, но реализовать его было сложно. Основная загвоздка была в качестве распознавания. Когда мы использовали чистую ZXing, то она распознавала только 70% «правильных» QR-кодов, то есть тех, которые сделаны по стандарту. Мы разобрались, как устроена библиотека, и придумали три доработки, которые сильно повысили качество распознавания и помогли справиться даже с самыми сложными и необычными QR.

Первое улучшение — апскейлинг изображения. Сначала мы пытаемся распознать QR-код с исходной картинки, а если не получается, то масштабируем её и пытаемся распознать заново. Это улучшило точность с 70% до 76%.

Второе — мы починили баг в библиотеке. Суть в том, что если она распознавала QR-код, то потом пыталась распознать его ещё несколько раз, но с другими параметрами. Мы добавили в логику работы условие: если библиотека хотя бы один раз с каким-то набором параметров распознала QR-код, то мы считаем, что распознали его, и больше к нему не возвращаемся. Это дало очень хороший буст — с 76% до 90%.

Третье — улучшенный алгоритм распознавания якорей (поисковых маркеров). Это большие квадраты по углам, с которых и начинается чтение кода. Но иногда QR не соответствуют стандартам: якоря превращаются в кружочки, сердечки и другие фигуры, что усложняет задачу. Мы убрали жёсткую привязку, что якоря должны быть квадратными, и теперь библиотека просто ищет три похожих фигуры в углах. Это улучшение позволило нам приблизиться к 100% распознаванию.

Для тестирования мы собрали два офлайн-датасета. Первый был из «правильных» QR-кодов, которые появлялись в трансляциях наших внутренних мероприятий. Мы стремились, чтобы там было 100% распознаваний (что у нас и получилось). Ещё у нас был «плохой» датасет. Мы попросили асессоров посмотреть разные видео и поискать там QR-коды в плохом качестве или нестандартной формы. Там мы распознавали меньше 30%, а после всех наших улучшений — порядка 60%. В этом плане эталоном для нас служил iPhone 15: он тоже распознал не все нестандартные QR, а около 60%. Причём в нём за это отвечает большая и сложная нейросеть, а наш метод работает даже на слабом железе.

Кстати, о вопросе производительности и применении нейросетей. В процессе разработки мы поняли, что для распознавания QR-кодов потребуется сложная ML-модель, для работы которой может не хватить ресурсов пользовательских устройств. Она бы работала очень долго и тормозила работу Браузера. Распознавание с помощью библиотеки работает быстрее: в среднем один код распознаётся за 10 миллисекунд, а в самых сложных случаях — за 25 миллисекунд.

Задача с распознаванием QR-кодов — хороший пример того, что всегда нужно думать о пользователе и не стоит пытаться отдать на откуп ИИ всё подряд. Здесь нам было важно выбрать наиболее оптимальный инструмент, чтобы решить задачу, и нейросети не подошли. Хотя в основе нашего решения всё равно лежат методы, используемые в ML.

Распознавание QR-кодов работает на всех десктопных платформах. Его можно включать и отключать в настройках инструментов для видео — там же, где живут перевод, краткий пересказ и субтитры.

Защита от фишинга

До обновления Браузера мы искали фишинговые сайты с помощью робота. Он несколько раз в сутки заходил на сомнительные страницы и оценивал их. В этом ему помогали ML-модели на сервере. Если сайт всё же оказывался фишинговым, то мы добавляли его в соответствующую базу. И когда пользователь заходил на новый сайт, Браузер быстро сверялся с базой: если адрес там уже есть, появлялось предупреждение.

Основная проблема была в том, что на весь процесс тратилось довольно много времени и ресурсов: нужно, чтобы робот сходил на сайт, да и вообще как-то узнать о его существовании. Потом — проверка, внесение в базу, её раскатка. Весь этот процесс занимает от нескольких часов до суток — как раз столько в среднем живут все фишинговые сайты. Мошенники делают домен, используют его до тех пор, пока он не попадёт в базу с фишингом, а после берут новый домен и обманывают уже на нём. Были и случаи, когда сайты могли отдавать нашему роботу нормальную страницу вместо фишинговой и пытались таким образом обходить проверку.

Сейчас мы внедрили в Браузер ML-модель, которая умеет проверять на клиенте, фишинговый ли сайт. Таким образом мы смогли сократить цепочку проверок. Пользователь заходит на сайт, ML-модель оценивает его содержимое, даже если на этот сайт никто до этого не заходил. Если сайт выглядит как фишинг, то запускается более сложная модель уже на наших серверах. Чтобы принять решение, она использует результаты работы клиентской ML-модели и учитывает дополнительные факторы: посещаемость сайта, на кого этот сайт зарегистрирован, статистику отказов от этого сайта, насколько давно сайт был создан, как много он показывается в поиске. При этом конфиденциальные данные или какая-то текстовая информация со страницы не передаются. После проверки страницы рассчитывается её скоринг и выносится окончательный вердикт. Если сайт похож на фишинговый, то пользователь видит предупреждение, даже если этот домен был создан буквально 5 минут назад и на него ещё никто не заходил.

Таким образом, мы убираем уязвимость предыдущего способа ловли фишинга, когда из поля нашего зрения выпадали домены-однодневки, которые менялись на другие домены, пока мы их вносили в базу.

Самое сложное в разработке этой штуки — получить датасет. Как уже было сказано выше, фишинг живет очень мало и, кроме того, бывает доступен только для конкретного человека по конкретному IP с конкретного устройства. Важно успеть собрать факторы, пока сайт не умер.

После сбора и фильтрации датасета мы обучили на нём большую BERT-модель,чтобы она умела отличать фишинг от обычного сайта. Но такая модель очень тяжёлая: для серверов она подходит, а вот для работы в real-time — нет. Для нашей цели мы выбрали DSSM: пусть модель, основанная на таком подходе, менее умная, но зато более быстрая. Для обучения ей нужно очень много примеров, поэтому с помощью BERT-модели мы разметили огромный датасет, получили результаты и на них обучили DSSM. В итоге эта модель умеет на лету предсказывать фишинг и весит всего 20 МБ — её мы и встроили в Браузер.

Модель работает очень быстро — в пределах 10 миллисекунд, что не влияет на скорость работы Браузера. Кроме того, мы стали точнее определять фишинг. Да, аудитория Хабра разбирается в технологиях и, как правило, не клюёт на примитивный фишинг, но для многих менее опытных пользователей подобные инструменты защиты особенно востребованы. Месячная аудитория, которая видит наши предупреждения только на десктопной версии, — примерно 1,8 млн человек.

Это не все возможности, которые может предложить обновлённый Браузер. Например, группы вкладок теперь стали облачными и могут синхронизироваться между устройствами​. К тому же вы можете сами выбрать, какие именно вкладки и группы нужно синхронизировать. А ещё Алиса научилась генерировать изображения с помощью нейросети YandexART. Чтобы создать свою картинку, зайдите в диалог с Алисой и активируйте навык «Давай нарисуем».

Нейросетевые функции Браузера активируются с помощью компактных меню, которые автоматически появляются рядом с контентом, где их можно применить. Например, кнопка поверх видео или всплывающая плашка при выделении текста. Если функция влияет сразу на всю страницу, меню появится рядом с адресной строкой.

Новые функции доступны в последних версиях Яндекс Браузера для Windows, macOS и Linux, а также для мобильных версий (кроме помощи с текстом и распознавания QR-кодов в видео). Делитесь своим опытом использования новых инструментов Браузера. Это поможет нам улучшить действующие нейросетевые модели, а также придумать и обучить новые.

Вы признаете потенциал, который дает простой перевод веб-страницы? В этой статье мы объясним, как это сделать из браузера Opera GX. Вы узнаете их процессы для перевода страницы и оптимизации результата. Это значительно упростит просмотр контента на другом языке, не выходя из браузера. Кроме того, мы предложим некоторые рекомендации для улучшения взаимодействия с пользователем.

Opera GX: браузер для геймеров. Opera GX — это высокопроизводительный интернет-браузер, разработанный специально для геймеров. Этот инновационный браузер гарантирует отличный опыт, обеспечивая при этом необходимую безопасность и скорость. Чтобы отделить себя от других, он также включает в себя эксклюзивные функции для игроков.

Как узнать школьные коды Comipems?

Среди его основных особенностей — Система мониторинга использования процессора и оперативной памяти, что позволяет пользователям эффективно управлять производительностью своего ПК, позволяя обеспечить оптимизацию использования ресурсов. Opera GX освобождает оперативную память и процессор, поэтому ваш компьютер работает плавно и без замедлений.

Еще одной его интересной особенностью является возможность перевод веб-контента. Opera GX совместима со службой перевода Microsoft, что позволяет пользователям легко переводить контент. Для этого вам просто нужно найти меню перевода на панели инструментов, выбрать язык, с которого вы хотите перевести, и язык, на который вы хотите перевести. Кроме того, в Opera GX можно редактировать перевод и изменять исходную веб-страницу, чтобы она соответствовала переводу.

Встроенные в Opera GX инструменты для перевода веб-сайтов

Opera GX дает вам возможность переводить веб-сайты прямо в приложении! Существует множество встроенных инструментов, позволяющих максимально быстро и легко перевести всю веб-страницу. Эти инструменты помогут вам создать многоязычную поверхность для просмотра прямо в вашем браузере.

Начнем с того, что начиная с версии 67 Opera GX поддерживает функцию автоперевода, предлагаемую в браузере. Эта функция автоматически активируется для определения языка, отличного от языка пользователя. Когда это происходит, содержимое страницы автоматически переводится на язык пользователя. Это сделано из коробки, чтобы облегчить чтение содержимого веб-страницы.

Второй инструмент, который GX предлагает для перевода веб-страницы, — это функция «Перевести страницу», расположенная в меню инструментов приложения. Эта функция предоставляет пользователям возможность автоматически перевести всю страницу на выбранный язык. Это упрощает просмотр иностранного веб-контента для пользователей, не понимающих другие языки.

Как перевести страницу в Opera GX

Одной из главных особенностей Opera GX является возможность перевести все содержимое веб-страницы всего за несколько кликов. Эта функция, очень полезная для тех пользователей, чей родной язык отличается от языка содержимого, легкодоступна. Далее мы шаг за шагом объясним, как использовать этот полезный инструмент.

Шаг 1. Установите язык перевода

Теперь, когда вы посещаете веб-страницу, нажатие кнопки «Перевести Opera» автоматически переведет ее на выбранный язык.

Шаг 2: Активируйте функцию перевода

После активации этой функции вы увидите значок перевода в верхней части каждой страницы, которую вы посещаете. При нажатии на значок откроется меню переводчика страниц.