Грибные справочники для смартфонов

[Наблюдатель 14 296]

3 часа назад, mullvad сказал:

пользуюсь десктоп версией иНата, так как загружаю много наблюдений, и по моему опыту ИИ у них великолепный, с точностью до рода справляется на ура

Ну нет, это только если делать качественные фото (раскрывающие основные признаки) или если гриб без заковырок. А как большинство обычных пользователей снимает гриб? Правильно, вид сверху. (Я листал там находки.) По такому снимку, опираясь на обширную базу, ИИ подберёт наиболее вероятный вариант и во многих случаях он угадает, но останется 5, 10, 20% случаев, когда выйдет ошибка даже на уровне рода. А ещё есть технические нюансы вроде корректной цветопередачи.

[Грибок 5]

@mullvad 

Спасибо, что поделились! Я до разговора с Вами даже не думал, что боты такого характера есть. По такому запросу правда что-то ищется, буду пробовать. 

 

5 часов назад, mullvad сказал:

по моему опыту ИИ у них великолепный

Вот! Это еще раз подтверждает, что дело в таких приложениях сейчас не технологии, а в том, что они людей не учат правильно с собой взаимодействовать. 

Надо, кстати, будет сделать публикацию в iNat через приложение, чтобы не забирать у сообщества данные, там это легко реализуется.

 

Спасибо за поддержку!

[Грибок 5]

@Наблюдатель 

Согласен! Надо в приложение добавить обучение правильному фото и предобработку: обрезку и цветокоррекцию. И точность уже взлетит, хотя под капотом будет то же самое. И тестировать ее надо будет на реальных пользователях и с реальными грибами, чтобы это честно было.

[Грибок 5]

Коллеги, у кого-нибудь есть еще мысли? Может, вам что-то еще кажется неэтичным, бесполезным, странным? 

Пожалуйста, выскажитесь, чтобы мне не плодить очередную ересь. Сам я в силу неопытности многое могу упустить.

[=SM= 37 469]

22 часа назад, Грибок сказал:

Danmarks Svampeatlas.

У них почти все подтверждено секвенированием. Если дают, то можно брать.

НО! У них же свой ИИ есть - https://svampe.databasen.org/en/imagevision -  и он хорошо, даже отилчино работает на тех видах грибов, которые реально в принципе по фото отличать, если исходное фото сделано верно и отражает достаточно признаков.

 

Ваш чем лучше будет? 

[Грибок 5]

7 минут назад, =SM= сказал:

У них же свой ИИ есть

Более того, у них в технических деталях указано, с помощью каких приемов его результаты можно попробовать воспроизвести.

Пока я не реализую технологию, я не могу предсказать, лучше или хуже будет качество определения, но ключевое отличие будет в том, что оно будет доступно в офлайн режиме с мобильного телефона. Конечно, mullvad писала, что у swapmeatlas есть и мобильное приложение, но мне к нему доступ получить не удалось, а по отзывам у них 3 с хвостом средний балл.

 

16 минут назад, =SM= сказал:

Ваш чем лучше будет?

В целом, на начальном этапе я не планирую делать что-то значительно лучшее с точки зрения самой технологии, т.к. у датских товарищей ее шлифовали тысячи разработчиков в ходе масштабного соревнования от гугла. Я планирую сделать акцент не на качестве определения самого ИИ, а на том, чтобы пользователям удобно было взаимодействовать с приложением, чтобы с минимальными трудозатратами выполнялся процесс: сфотал, обрезал, определил по фото, уточнил по запаху, получил рекомендацию по сбору, запланировал публикацию в иНате. 

 

Впоследствии, когда и сами технологии разовьются, и будет подтверждено, что людям это нужно, можно будет значительно вложиться в улучшение качества самого предсказания. 

[=SM= 37 469]

2 минуты назад, Грибок сказал:

В целом, на начальном этапе я не планирую делать что-то значительно лучшее

Я подскажу, что реально нужно - по аналогии с плантнетом, где можно указать - что это фото листа, а это цветка - возможность загружать несколько фоток разных видов (фотографических, а не биологических  ) - вид сверху, сбоку, снизу, разрез гриба, и т.д. У них же только одну фотку можно загрузить.

 

А оффлайн особо и не нужен. Все, что непонятно "в оффлайне", можно приволочь домой и там обфоткаться, обложиться литературой, микроскопами и т.д. А ИИ это лишь полезная добавка ко всему перечисленному. Но, если ИИ сможет анализировать несколько разных фоток разных частей гриба, будет супер

[Грибок 5]

25 минут назад, =SM= сказал:

возможность загружать несколько фоток разных видов

Идея огонь, спасибо! Правда, это сильно увеличивает нехватку фото, подтвержденных секвенированием: надо же будет каждый гриб и в разрезе делать, и снизу, и сверху, и сбоку и желательно не один десяток грибов каждого вида, чтобы хорошо ИИ научить. Но точность в конечном счете это явно повысит.

Спасибо! Буду знать, куда  развиваться.

 

24 минуты назад, =SM= сказал:

Все, что непонятно "в оффлайне", можно приволочь домой

Согласен. Но тем, кто не знает, например, краснокнижников, это может влететь в копеечку. Говорят, уже реально за такое простых грибников штрафуют, не только на бумаге.

[=SM= 37 469]

@Грибок 

Ну он на то и ИИ, чтобы самому разобраться, где фото чего, и что с чем сравнивать.

у датчан там есть много фото, где одновременно есть и вид сверху, и на пластинки. ИИ должен уметь такие фото делить на части, где что.

вот пример:

 

Если Ваш ИИ после загрузки двух фото, где есть вид сверху и вид сбоку-снизу, поймет, что вид сверху надо сравнить с левой частью образца, а вид сбоку с правой - вот это будет супер, и сильно поднимет определяемость гриба.

 

[mullvad 917]

2 часа назад, Грибок сказал:

Идея огонь, спасибо!

У  Seek это ещё более юзер-френдли реализовано - можно гриб вертеть перед камерой в реальном времени, а ИИ сам выцепляет, что ему нужно для опознания. Большие языковые модели типа ЧатГПТ умеют анализировать всё изображение в целом, например, лиственный это лес или хвойный, осень это или весна, и учитывают это при выдаче.

[Грибок 5]

12 часов назад, =SM= сказал:

Ну он на то и ИИ, чтобы самому разобраться, где фото чего, и что с чем сравнивать.

Так-то оно так, но согласитесь, даже человек разрезы незнакомых грибов не всегда хорошо сопоставит с внешним видом грибов того же вида, особенно, если ракурс какой-нибудь такой:

С каким-нибудь фото спор под микроскопом тем более.

 

Другое дело, если у swampeatlas уже есть такие фото с указанием вида - тогда ИИ научится. Но если нет, то придется их делать самим.

 

12 часов назад, =SM= сказал:

Если Ваш ИИ после загрузки двух фото, где есть вид сверху и вид сбоку-снизу, поймет, что вид сверху надо сравнить с левой частью образца, а вид сбоку с правой - вот это будет супер, и сильно поднимет определяемость гриба.

Сейчас в целом ИИ сами учатся понимать, что с чем сравнивать.

 

Если фото каждого вида много (ИИ по ним уже научился определять гриб по конкретному ракурсу), то ему даже очень "нравятся" такие фото, на которых несколько грибов в разных ракурсах - они смотрят на относительные масштабы разных частей, вроде того, что в диаметре шляпки укладывается полторы ножки и т.д. И он сравнивает каждое фото, которое вы делаете, с совокупностью своих знаний, т.е.  не надо указывать, что сверху, а что сбоку, вот тут он как раз по умолчанию разберется сам. И так большое количество загружаемых вами фото и без указания ракурсов повысит точность.

 

Но если фото какого-то вида мало (что в целом не редкость), то действительно, как вы указали, надо ИИ учить, как все видит человек (что есть ракурс сбоку, есть сверху и т.п.), чтобы у него не было каши в голове. Потом запрашивать у пользователя фото в соответствующих ракурсах. И это повысит точность нехило.

 

Еще можно это делать с целью интерпретируемости: чтобы модель четко объясняла, на основе чего она делает выводы. И так ей действительно надо будет объяснять, что мы считаем верхом гриба, что боком, что гименофором. Это затратно, но зато можно будет перепроверять выводы ИИ.

 

В целом позволять пользователю загружать несколько фото круто. Это должно хорошо влиять на точность. Особенно, когда появится возможность сравнивать разрезы и фото спор. Спасибо, что поделились!

 

10 часов назад, mullvad сказал:

ИИ сам выцепляет, что ему нужно для опознания

Вот-вот, так оно в идеале и работает. Но, по моему опыту, серия четких обработанных фото значительно лучше такого верчения позволяет ИИ правильно определять объект. Он путается, т.к. одних грибов видел больше в одном ракурсе, других в другом, и если случайно задержать видео на кадре, который ему малознаком, он его учтет его сильнее и запутается. Но может быть, что у seek это все учтено и плохие кадры отсеиваются. Тогда видео правда информативнее.

Для пользователя, конечно, выглядит круто. Надо будет поковыряться, спасибо.

 

10 часов назад, mullvad сказал:

модели типа ЧатГПТ умеют анализировать всё изображение в целом

В целом, почти все виды ИИ учитывают фон: если им показать все грибы на фоне осенней листвы, то они будут менее уверенны, увидев тот же гриб на фоне зелени.

БЯМ тут нужны как раз, чтобы объяснить пользователю, что это правда учитывается.

[=SM= 37 469]

4 часа назад, Грибок сказал:

если у swampeatlas уже есть такие фото с указанием вида

там все фото каждого вида на странице вида и находятся. Тут никакого интеллекта не надо, чтобы это сопоставить

 

А вот микрофото как раз сопоставлять категорически не надо. Там основное - результаты измерений спор и цистид, а их внешность, и тем более оттенки очень разнятся от того, как сделана микроскопия. Ну только если форму цистид сопоставлять, но для этого надо понимать, где они, и что это именно они.