Send Input and Send Text are no longer available in UI

These 2 actions are replaced by Send Sequence. It is easier to use and configure, especially in simple scenarios. Macro recording functionality is not fully ready yet, but I will take a look in one of the following releases, I've already got a bunch of bug reports.

p.s. old actions are still fully functional, so nothing will break, only new auras will be affected

New window finder / click position selector

Fully replaced the old selector, which was way too laggy and unreliable. The new version should be much-much better. Please send feedback Contacts | EyeAuras Wiki.

BUGFIXES/IMPROVEMENTS

• [General] Fixed error which prevented Cloning and Moving items up and down
• [Image/Color/ML Search] Changed how Capture Borderless option works. Still far from ideal, but should cover more cases now, especially if windows does not do anything fancy with its borders/title bar
• [EventLog] Fixed problem with event log being displayed outside app bounds.
• [Synchronization] Fixed an bug with auras not being saved after downloading new version of a sync
• [Effects] Fixed IsEnabled status not being saved into config (disabled effects were re-enabled at startup)
• [Nuget in scritpts] Package references are now partially supported by scripting subsystem
• [EventLog] Added “Inputs” category, which contains inputs generated by the program
• [Scripting] Made it so if script compiles successfully previous errors are cleared
• [Enabling Conditions] Fixed enabling conditions properties not being saved/loaded properly under some circumstances
• [Overlays] Fixed overlays “stuttering” when either user or script changed position/size of an overlay
• [SendInputs] Fixed problem with “Granny's Send Input” positioning (mouse was moved incorrectly on multi-monitor setups
• All inputs should be more reliable now in terms of mouse positioning - changed the way how coordinates are calculated

Последний патч 2023 года решает некоторые проблемы с сетевыми сообщениями и продвинутыми методами ввода (низкоуровневые NT*). На этом этапе я начну сосредотачиваться на следующей большой функции 2024 года - деревьях поведения, которые в основном переосмыслят способ работы с программой, делая автоматизацию намного проще.

С Новым годом, все!

The Real Alpha

The last three weeks have been very productive. Most of the work went into performance improvements: startup time, memory usage during startup and runtime, CPU and GPU usage during search, and overall configuration processing efficiency have all been improved. In some areas, performance is up by several dozen percent.

Just as importantly, several new subsystems were added that will help me identify and fix problem areas more effectively going forward.

At the moment, there are still two noticeable issues: startup memory usage (usually around 1 to 2 GB, though it drops to about 500 MB after some time) and overall UI responsiveness. The causes of both are understood, but there is no quick and painless fix, so we will be addressing them gradually over the next six months.

New Input Type — Grandma Input

Nothing special, just another input method. It is only useful if the other methods are not working for some reason.

Alpha Testing for New Subsystems

Three new options have been added in Settings: Property Caching, Filesystem Storage, and File References. All of them are intended to improve performance in different ways.

These options are still being tested, so if you decide to enable them, be prepared for possible issues. If you prefer, you can also wait until these systems are officially released and enabled by default. Your participation and feedback would be very valuable.

Bugfixes and Improvements

• Fixed a rare crash during import (ReplaceId NullReferenceException).
• [UI] The secondary panel with logs and variables has been completely rewritten.
• [UI] All windows and overlays now open faster.
• [UI] The import dialog can now also perform synchronization.
• [Synchronization] Fixed a bug that caused the app to crash if synchronization was added inside a folder that was already being synchronized.
• [Scripts] Many improvements were made to the scripting subsystem — it now runs faster and uses memory more efficiently.
• [Scripts] The ImageSharp library has been added to the SDK. In some cases it is more convenient than OpenCV, and future APIs will likely be built around it.
• Improved the precision of all waits and delays; they are now accurate within 1 ms.

Новый релиз!

Вот собранный список изменений, которые были сделаны в программе за последние 4 месяца.

Было проделано много работы - улучшенное C# скриптование (для Триггеров/Действий и Оверлеев), улучшенная Отправка последовательности (которая теперь полностью заменяет Отправку ввода по функциональности), улучшенная подсистема конфигурации, гораздо более быстрые и эффективные Эффекты изображения (которые теперь могут уменьшать изображения для лучшей производительности) и многое другое.

Также, чтобы удовлетворить потребности нового и чрезвычайно быстро растущего сообщества машинного обучения, я разработал отдельное приложение, чтобы облегчить создание и обучение моделей Yolo, которые полностью поддерживаются функцией ML Search. По моему опыту, это гораздо быстрее, чем подготовка данных вручную, даже учитывая, что это приложение все еще находится на ранней альфа-стадии. Для получения дополнительной информации посетите: Начало работы | EyeAuras Wiki.

Переход на новую технологию пользовательского интерфейса

Одной из основных текущих инициатив является переход на новую технологию пользовательского интерфейса. Это изменение направлено на решение текущих проблем с отзывчивостью программного обеспечения, таких как переключение аур или создание новых триггеров/действий. Хотя этот переход - медленный процесс, потенциально занимающий дополнительные 6-12 месяцев, ожидаемый результат обещает значительные улучшения. Это уже можно увидеть на примере новых улучшенных диалогов Импорт/Экспорт и Привязки, которые теперь используют эту технологию. В течение следующих месяцев вы увидите, как различные части приложения заменяются и переписываются по одной (дерево аур, я смотрю на вас).

Что дальше?

Производительность: основной акцент в следующем обновлении - я полностью переделал систему конфигурации, она в настоящее время находится на стадии тестирования и должна сделать загрузку и работу приложения гораздо быстрее, особенно на ПК с низкими характеристиками. Как я уже упоминал, я перепишу более медленные части приложения, такие как дерево аур, чтобы улучшить пользовательский опыт.

Деревья поведения: В настоящее время находятся в стадии разработки и тестирования, Деревья поведения - следующая важная функция, которую стоит ожидать. Они в основном полностью меняют то, как вы работаете с приложением. Кроме того, они используют новую технологию пользовательского интерфейса, поэтому они гораздо более отзывчивы :)

Оставайтесь на связи для обновлений, и спасибо за вашу постоянную поддержку и использование программного обеспечения!

Новые функции и улучшения

Отправка последовательности 2.0: Объединяет все типы действий для улучшенных входных последовательностей.

Новый движок C# Scripting: Теперь доступен в Триггерах/Действиях (альфа-стадия), расширяя возможности с новыми и улучшенными APIs

Улучшения привязок: Переписанный редактор привязок для лучшей производительности и удобства использования. Гораздо-гораздо-гораздо более отзывчивый и универсальный

Улучшенное скриптование с совместимостью Visual Studio/Rider: Экспортируйте и сохраняйте свой код как проект C# для более продвинутых функций разработки.

Переработка диалогов Импорт/Экспорт: Более отзывчивые, подробные и удобные для пользователя. Ожидается обновление диалога синхронизации в одном из ближайших обновлений

Улучшения производительности и удобства использования

Улучшения сетевых сообщений: Изменения инфраструктуры для лучшей производительности и снижения задержки.

Пользовательский интерфейс оверлея и производительность пользовательского интерфейса: Значительные изменения для лучшей производительности и отзывчивости.

Общие улучшения производительности: Сосредоточены на улучшении пользовательского опыта и отзывчивости программного обеспечения.

Отзывчивость дерева аур: Улучшения интерфейса дерева аур для более плавного взаимодействия.

Другие улучшения

Масштабирование изображений в эффекте пересчета изображения: Теперь поддерживает масштабирование по обеим осям X и Y. Также теперь вы можете уменьшать изображение с помощью эффектов, увеличивая производительность, и приложение все равно сможет вычислить действительные координаты найденного изображения и кликнуть по нему! Это работает для ВСЕХ типов триггеров (ML, Color, Image)

Новые эффекты изображения: Введение эффектов замены цветового диапазона и устранения шума для лучшего анализа изображений.

Улучшения ML Search: Значительные улучшения производительности и новые функции в ML Search. Это больше касается скриптов, так как только они открывают полный потенциал ML.

Исправления ошибок

• [Отправка последовательности/Ввод/Текст]: Исправлена проблема с аварийным завершением работы.
• [Триггер громкости]: Временно отключен из-за конфликтов.
• [Триггер изображения]: Добавлены новые функции для обработки шаблонов изображений.
• [Редактор кода C#]: Улучшения производительности и планы на будущее по переходу на редактор Monaco.
• [Привязки]: Множественные изменения UI/UX для лучшего пользовательского опыта.
• [Отправка ввода]: Исправлены проблемы со скриптами установки драйвера.
• [WebUI Overlay]: Исправлены редкие сбои, связанные с элементами управления пользовательского интерфейса.
• [Исправление ошибок]: Устранена проблема восстановления окна после сворачивания.
• [Поиск изображений/цвета/текста]: Исправлены различные ошибки, включая выбор области и интерфейс выбора FPS.
• [Оверлеи]: Исправлены проблемы с смещениями и сбоями в определенных сценариях.
• [Граф зависимостей/Просмотрщик]: Исправлены проблемы с отображением.
• [Сетевое сообщение]: Исправлен сбой из-за несоответствия версий сервера/клиента.
• [Поиск текста]: Устранен сбой, связанный с доступом к памяти Tesseract.

Пожалуйста, обратитесь к отдельным журналам изменений обновлений, доступных на сайте для получения более подробной информации.

ИСПРАВЛЕНИЯ ОШИБОК/УЛУЧШЕНИЯ

• [Отправить последовательность/Ввод/Текст]: Исправлен сбой "Попытка удалить уже удаленное..."

Completely redesigned Import/Export dialogs

They’re now more responsive, more informative, easier to use, and hopefully less error-prone :)

P.S. The sync dialog is not ready yet — it will be included in a separate set of changes related to the publishing/sync system.

Новый движок скриптов C# доступен в Триггерах/Действиях - альфа

В ближайшие дни я опубликую больше информации, но в общем и целом, движок C#, который уже использовался в WebUI для использования преимуществ Blazor, был портирован и теперь он также доступен в действиях и триггерах C#. Это означает, что ТЕПЕРЬ каждая функция, которую вы могли использовать в WebUI, доступна и в триггерах/действиях, таких как:

• использование новых и улучшенных API, таких как Interface IAuraTreeScriptingApi | EyeAuras Docs, Interface IVariablesScriptingApi | EyeAuras Docs, Interface IAuraAccessor | EyeAuras Docs и т.д.
  • Гарантируется, что эти API будут совместимы в будущих версиях, я буду прилагать усилия в этом направлении. Когда мне придется внести изменения, которые нарушат совместимость, будет создан специальный слой совместимости поверх старых API, чтобы избежать нарушения кода.
  • План заключается в том, чтобы позволить скриптам внедрять набор API (например, SendInputScriptingApi), которые обеспечат легкий доступ к анализу изображений, отправке ввода и всем другим функциям, которые в настоящее время присутствуют в EyeAuras
  • API триггеров/действий/оверлеев все еще могут изменяться, так как у меня еще нет хорошего решения для слоя совместимости
• использование нескольких файлов для структурированного хранения вашего исходного кода
• ссылка на другие ауры на основе C# для доступа к реализованным там классам/методам. То есть вы можете подготовить одну ауру со всеми вспомогательными функциями и использовать ее в своих проектах
• экспорт csproj и редактирование кода в Visual Studio / JetBrains Rider
• редактирование проекта в реальном времени через Monitor. Это не так полезно, как с WebUI.

Автозавершение на данный момент отключено, я еще не решил, стоит ли сразу переходить на редактор Monaco или внести некоторые улучшения в существующий текстовый редактор. Обновлю информацию как можно скорее.

Одно из лучших нововведений в этом - теперь, когда система скриптов однородна, любое улучшение будет мгновенно отражено везде - WebUI/C# действие/триггер и Behaviour Trees.

P.S. Behaviour trees, скорее всего, будут выпущены в декабре и будут основываться на том же движке. Оставайтесь с нами, это будет очень-очень круто, я вам обещаю :)

Новый сайт документации API

Новый сайт, на котором размещена документация API для EyeAuras, теперь доступен по адресу https://docs.eyeauras.net.

Это будет особенно полезно для тех, кто использует EyeAuras в качестве платформы для скриптов. Однако Wiki остается основным источником для неразработчиков.

В настоящее время в документации отсутствует раздел демонстраций и примеров, который является неотъемлемой частью любой документации. Усилия, которые я и linqse предпримем в декабре, будут направлены на обогащение этой области. Кроме того, большинство публичных интерфейсов и классов теперь включают комментарии XML.

Если какая-либо важная информация отсутствует, пожалуйста, сообщите нам об этом.

Улучшенный механизм отчетности об ошибках

Понимание специфики того, что пошло не так, критически важно при возникновении проблем. Наш новый механизм отчетности об ошибках собирает все ошибки в рамках Действия/Триггера или всей Ауры. Эти ошибки иерархические, то есть ошибки Ауры включают все ошибки из их действий/триггеров, подобно папкам. Пользователи могут отметить ошибки как прочитанные по своему усмотрению.

Улучшение производительности - Кэширование свойств (Альфа)

Введение новой функции, направленной на значительное сокращение количества чтений/записей на диск и незначительное снижение нагрузки на процессор. Эта функция все еще находится в стадии тестирования и может быть включена в настройках в опции Кэширование свойств.

ИСПРАВЛЕНИЕ ОШИБОК/УЛУЧШЕНИЯ

• [Триггер громкости]: Временно отключен из-за конфликтов с подсистемой.
• Безопасный режим: Улучшен механизм, который обнаруживает неправильные выходы из приложения.
• [Триггер изображения]: Добавлена функция копирования образца изображения в буфер обмена и вставки из него.
• [Редактор кода C#]: Улучшения производительности делают редактор более отзывчивым. Мы планируем в конечном итоге перейти на редактор Monaco.

Улучшения CVATAAT (также известные как YoloEase)

Набор различных исправлений и улучшений. Самое заметное из них - теперь приложение поддерживает работу с несколькими проектами одновременно - вы можете сохранять/загружать/делиться файлами конфигурации и обучать несколько моделей.

Ах, да, я изменил название, чтобы оно лучше отражало то, что инструмент на самом деле делает.

ИСПРАВЛЕНИЯ/УЛУЧШЕНИЯ

• Улучшено время запуска, это должно быть особенно заметно, если вы используете скрипты
• Настройка логирования для минимизации влияния на производительность
• Множественные изменения UX/UI в редакторе привязок

Binding Improvements

Bindings | EyeAuras Wiki is a mechanism that lets you connect multiple action/trigger properties together. For example, you can take the coordinates of a detected image from Image Search and move the mouse there using Send Sequence.

I completely rewrote the Bindings Editor, where all of this is configured. It is now faster, more responsive, and generally easier to use.

CVATAAT Improvements

There are a LOT of different improvements and fixes here: performance, UX, and bug fixes. Listing every single one would not be very useful, so it is better to try it yourself: Getting Started | EyeAuras Wiki

I know there are already some successful use cases, so the technology does work, and training through CVATAAT is definitely easier than doing everything manually.

Bug Fixes / Improvements

• Fixed a memory leak that occurred in some cases when image effects were used

Send Sequence 2.0

Welcome to the improved Send Sequence action. It now combines all Send action types into one: it can send clicks, type text, move the mouse, and click the mouse, including support for links and anchors.

What’s all the fuss about?

For about 1.5 years, there were 3 separate Send action types: Send Input, Send Text, and Send Sequence.

Each one covered its own specific set of features:

• Send Input was mainly focused on clicking somewhere, such as an image location, anchors, and similar targets.
• Send Text supported several text input methods, such as typing character by character or using the clipboard.
• Send Sequence was always focused on “playing back” longer input sequences, but without the precision of Send Input.

That is now a thing of the past. The redesigned version has the same capabilities as all previous Send action types, and it is much easier to extend with new features and new blocks with any kind of functionality, for example:

• selecting a coordinate
• performing math operations
• using the result to move the mouse

What are the benefits?

The main benefit is that building input sequences is now much easier. For example, if you want to click a specific image, you no longer need to alternate between Send Sequence and Send Input.

I also plan to focus on improving Send Sequence going forward, making it more flexible instead of splitting time across 3 different Send action types.

What should I do with the old Send Input and Send Text actions?

From now on, Send Text and Send Input are effectively in maintenance mode. I will not be adding new options to them or actively working on them anymore.

At some point in the future, they will be fully deprecated and automatically converted into Send Sequence.

You can convert them manually at any time by clicking the Convert to Send Sequence button shown at the top of each Send action. For now, the conversion does not remove the original action, so you can verify that the new one behaves exactly as expected.

Improved image/color/text search: borderless mode

As the title suggests, I added a new option to all of these triggers that allows capturing any window without its border.

In addition, all actions that work by linking/anchoring to the position of a found image will take the missing border into account and adjust coordinates accordingly.

This makes tracking objects in applications that are not running in fullscreen mode easier than ever.

Improved color search

A new option has been added that allows searching for specific pixel blocks of a given color. There is a limited set of supported block sizes, such as 2x2, 4x4, and so on, and the code has been optimized for better overall performance.

Based on my tests, 4x4 blocks give the best results.

Keep in mind that under the hood, this mechanism is very similar to how image search works, so in some scenarios it may still be better to stick with image search. In other cases, though, this new color search mode really shines.

And of course, you can configure anchors/links to the found blocks as well.

Watch the video here

CVATAAT improvements

A fairly detailed documentation page has been added, and it should answer most of your configuration-related questions.

The tool is working and can already be very useful even with its current feature set.

Added support for training with Google Colab

Originally, the tool only allowed training models locally on your own PC using your own hardware. That has obvious limitations: you need to actually have the hardware.

Cloud training makes it possible to use enterprise-grade GPUs such as the A100 for faster and more efficient training in some cases.

It does come with its own limitations, but it can be very useful in many situations. Support is still somewhat limited for now—for example, auto-annotation is not yet available in this mode—but I will continue expanding it.

Bugfixes / Improvements

• [Changelog] Fixed a bug that caused changelogs to be displayed incorrectly, with the text getting “mixed” together
• [Offset, Anchors] Fixed a bug that caused crashes in some cases when adjusting Offset/Anchors in image/text/color search