Грибные справочники для смартфонов

[Наблюдатель 14 297]

3 часа назад, mullvad сказал:

пользуюсь десктоп версией иНата, так как загружаю много наблюдений, и по моему опыту ИИ у них великолепный, с точностью до рода справляется на ура

Ну нет, это только если делать качественные фото (раскрывающие основные признаки) или если гриб без заковырок. А как большинство обычных пользователей снимает гриб? Правильно, вид сверху. (Я листал там находки.) По такому снимку, опираясь на обширную базу, ИИ подберёт наиболее вероятный вариант и во многих случаях он угадает, но останется 5, 10, 20% случаев, когда выйдет ошибка даже на уровне рода. А ещё есть технические нюансы вроде корректной цветопередачи.

[Грибок 5]

@mullvad 

Спасибо, что поделились! Я до разговора с Вами даже не думал, что боты такого характера есть. По такому запросу правда что-то ищется, буду пробовать. 

 

5 часов назад, mullvad сказал:

по моему опыту ИИ у них великолепный

Вот! Это еще раз подтверждает, что дело в таких приложениях сейчас не технологии, а в том, что они людей не учат правильно с собой взаимодействовать. 

Надо, кстати, будет сделать публикацию в iNat через приложение, чтобы не забирать у сообщества данные, там это легко реализуется.

 

Спасибо за поддержку!

[Грибок 5]

@Наблюдатель 

Согласен! Надо в приложение добавить обучение правильному фото и предобработку: обрезку и цветокоррекцию. И точность уже взлетит, хотя под капотом будет то же самое. И тестировать ее надо будет на реальных пользователях и с реальными грибами, чтобы это честно было.

[Грибок 5]

Коллеги, у кого-нибудь есть еще мысли? Может, вам что-то еще кажется неэтичным, бесполезным, странным? 

Пожалуйста, выскажитесь, чтобы мне не плодить очередную ересь. Сам я в силу неопытности многое могу упустить.

[=SM= 37 476]

22 часа назад, Грибок сказал:

Danmarks Svampeatlas.

У них почти все подтверждено секвенированием. Если дают, то можно брать.

НО! У них же свой ИИ есть - https://svampe.databasen.org/en/imagevision -  и он хорошо, даже отилчино работает на тех видах грибов, которые реально в принципе по фото отличать, если исходное фото сделано верно и отражает достаточно признаков.

 

Ваш чем лучше будет? 

[Грибок 5]

7 минут назад, =SM= сказал:

У них же свой ИИ есть

Более того, у них в технических деталях указано, с помощью каких приемов его результаты можно попробовать воспроизвести.

Пока я не реализую технологию, я не могу предсказать, лучше или хуже будет качество определения, но ключевое отличие будет в том, что оно будет доступно в офлайн режиме с мобильного телефона. Конечно, mullvad писала, что у swapmeatlas есть и мобильное приложение, но мне к нему доступ получить не удалось, а по отзывам у них 3 с хвостом средний балл.

 

16 минут назад, =SM= сказал:

Ваш чем лучше будет?

В целом, на начальном этапе я не планирую делать что-то значительно лучшее с точки зрения самой технологии, т.к. у датских товарищей ее шлифовали тысячи разработчиков в ходе масштабного соревнования от гугла. Я планирую сделать акцент не на качестве определения самого ИИ, а на том, чтобы пользователям удобно было взаимодействовать с приложением, чтобы с минимальными трудозатратами выполнялся процесс: сфотал, обрезал, определил по фото, уточнил по запаху, получил рекомендацию по сбору, запланировал публикацию в иНате. 

 

Впоследствии, когда и сами технологии разовьются, и будет подтверждено, что людям это нужно, можно будет значительно вложиться в улучшение качества самого предсказания. 

[=SM= 37 476]

2 минуты назад, Грибок сказал:

В целом, на начальном этапе я не планирую делать что-то значительно лучшее

Я подскажу, что реально нужно - по аналогии с плантнетом, где можно указать - что это фото листа, а это цветка - возможность загружать несколько фоток разных видов (фотографических, а не биологических  ) - вид сверху, сбоку, снизу, разрез гриба, и т.д. У них же только одну фотку можно загрузить.

 

А оффлайн особо и не нужен. Все, что непонятно "в оффлайне", можно приволочь домой и там обфоткаться, обложиться литературой, микроскопами и т.д. А ИИ это лишь полезная добавка ко всему перечисленному. Но, если ИИ сможет анализировать несколько разных фоток разных частей гриба, будет супер

[Грибок 5]

25 минут назад, =SM= сказал:

возможность загружать несколько фоток разных видов

Идея огонь, спасибо! Правда, это сильно увеличивает нехватку фото, подтвержденных секвенированием: надо же будет каждый гриб и в разрезе делать, и снизу, и сверху, и сбоку и желательно не один десяток грибов каждого вида, чтобы хорошо ИИ научить. Но точность в конечном счете это явно повысит.

Спасибо! Буду знать, куда  развиваться.

 

24 минуты назад, =SM= сказал:

Все, что непонятно "в оффлайне", можно приволочь домой

Согласен. Но тем, кто не знает, например, краснокнижников, это может влететь в копеечку. Говорят, уже реально за такое простых грибников штрафуют, не только на бумаге.

[=SM= 37 476]

@Грибок 

Ну он на то и ИИ, чтобы самому разобраться, где фото чего, и что с чем сравнивать.

у датчан там есть много фото, где одновременно есть и вид сверху, и на пластинки. ИИ должен уметь такие фото делить на части, где что.

вот пример:

 

Если Ваш ИИ после загрузки двух фото, где есть вид сверху и вид сбоку-снизу, поймет, что вид сверху надо сравнить с левой частью образца, а вид сбоку с правой - вот это будет супер, и сильно поднимет определяемость гриба.

 

[mullvad 920]

2 часа назад, Грибок сказал:

Идея огонь, спасибо!

У  Seek это ещё более юзер-френдли реализовано - можно гриб вертеть перед камерой в реальном времени, а ИИ сам выцепляет, что ему нужно для опознания. Большие языковые модели типа ЧатГПТ умеют анализировать всё изображение в целом, например, лиственный это лес или хвойный, осень это или весна, и учитывают это при выдаче.

[Грибок 5]

12 часов назад, =SM= сказал:

Ну он на то и ИИ, чтобы самому разобраться, где фото чего, и что с чем сравнивать.

Так-то оно так, но согласитесь, даже человек разрезы незнакомых грибов не всегда хорошо сопоставит с внешним видом грибов того же вида, особенно, если ракурс какой-нибудь такой:

С каким-нибудь фото спор под микроскопом тем более.

 

Другое дело, если у swampeatlas уже есть такие фото с указанием вида - тогда ИИ научится. Но если нет, то придется их делать самим.

 

12 часов назад, =SM= сказал:

Если Ваш ИИ после загрузки двух фото, где есть вид сверху и вид сбоку-снизу, поймет, что вид сверху надо сравнить с левой частью образца, а вид сбоку с правой - вот это будет супер, и сильно поднимет определяемость гриба.

Сейчас в целом ИИ сами учатся понимать, что с чем сравнивать.

 

Если фото каждого вида много (ИИ по ним уже научился определять гриб по конкретному ракурсу), то ему даже очень "нравятся" такие фото, на которых несколько грибов в разных ракурсах - они смотрят на относительные масштабы разных частей, вроде того, что в диаметре шляпки укладывается полторы ножки и т.д. И он сравнивает каждое фото, которое вы делаете, с совокупностью своих знаний, т.е.  не надо указывать, что сверху, а что сбоку, вот тут он как раз по умолчанию разберется сам. И так большое количество загружаемых вами фото и без указания ракурсов повысит точность.

 

Но если фото какого-то вида мало (что в целом не редкость), то действительно, как вы указали, надо ИИ учить, как все видит человек (что есть ракурс сбоку, есть сверху и т.п.), чтобы у него не было каши в голове. Потом запрашивать у пользователя фото в соответствующих ракурсах. И это повысит точность нехило.

 

Еще можно это делать с целью интерпретируемости: чтобы модель четко объясняла, на основе чего она делает выводы. И так ей действительно надо будет объяснять, что мы считаем верхом гриба, что боком, что гименофором. Это затратно, но зато можно будет перепроверять выводы ИИ.

 

В целом позволять пользователю загружать несколько фото круто. Это должно хорошо влиять на точность. Особенно, когда появится возможность сравнивать разрезы и фото спор. Спасибо, что поделились!

 

10 часов назад, mullvad сказал:

ИИ сам выцепляет, что ему нужно для опознания

Вот-вот, так оно в идеале и работает. Но, по моему опыту, серия четких обработанных фото значительно лучше такого верчения позволяет ИИ правильно определять объект. Он путается, т.к. одних грибов видел больше в одном ракурсе, других в другом, и если случайно задержать видео на кадре, который ему малознаком, он его учтет его сильнее и запутается. Но может быть, что у seek это все учтено и плохие кадры отсеиваются. Тогда видео правда информативнее.

Для пользователя, конечно, выглядит круто. Надо будет поковыряться, спасибо.

 

10 часов назад, mullvad сказал:

модели типа ЧатГПТ умеют анализировать всё изображение в целом

В целом, почти все виды ИИ учитывают фон: если им показать все грибы на фоне осенней листвы, то они будут менее уверенны, увидев тот же гриб на фоне зелени.

БЯМ тут нужны как раз, чтобы объяснить пользователю, что это правда учитывается.

[=SM= 37 476]

4 часа назад, Грибок сказал:

если у swampeatlas уже есть такие фото с указанием вида

там все фото каждого вида на странице вида и находятся. Тут никакого интеллекта не надо, чтобы это сопоставить

 

А вот микрофото как раз сопоставлять категорически не надо. Там основное - результаты измерений спор и цистид, а их внешность, и тем более оттенки очень разнятся от того, как сделана микроскопия. Ну только если форму цистид сопоставлять, но для этого надо понимать, где они, и что это именно они.

 

[=SM= 37 476]

6 часов назад, Грибок сказал:

И это повысит точность нехило.

это непросто повысит точность.

У многих видов для определения нужно видеть и сравнивать, например кольцо, толстое-плотное оно или тонкое пленчатое (опята медовые/бореалисы и опята луковичноногие/галлики отличаются только кольцом). Или, например, цвет остатков покрывала или кортины на ноге. А без этого ИИ должен просто сказать, что это род такой, а вид определить невозможно потому, что не хватает данных.

[Грибок 5]

1 час назад, =SM= сказал:

там все фото каждого вида на странице вида и находятся

Я человек ленивый, у них для таких как я есть готовый набор данных, чтоб не вытаскивать его с каждой страницы: Danish Mycological Society, fungal records database. Пока в него не заглядывал (много весит), поэтому не могу сказать, есть в нем фото срезов, или нет  Но судя по тому, как на сайте все организовано, там действительно мешанина будет, и надо будет с ней разбираться.

 

Про микроскопию чистая правда! Я как-то об этом и не подумал. Спасибо, что написали! 

 

Надо будет все предварительно обработать другой нейросетью, чтобы выкинула микроскопию и определила, где какие ракурсы есть. Жалко, что нельзя будет сами фото в приложении использовать для дальнейшего контроля. С другой стороны, на то, чтоб до дома гриб донести, и знать, какой вид гуглить, должно хватить. И можно будет во время использования приложения фото поспрашивать у пользователей. Будут с точностью ИИ соответствовать реальности (данным датчан).

 

По-хорошему надо и у нас организовать сбор качественных наблюдений. Я пока только у сибиряков видел хорошую попытку сделать набор данных из кучи публикаций: Fungal literature records database of the Northern West Siberia (Russia). Хотелось бы таких данных для всей России, может, получится запросить на это финансирование, показав, что есть спрос, социальная польза, специалисты, готовые этим заниматься и т.д. Надо подумать, делать ли вообще для этого приложение или уже сейчас заняться таким проектом. Потому что без таких данных приложение будет определять все исходя из датских морф.

 

2 минуты назад, =SM= сказал:

это непросто повысит точность.

Да, теперь я Вас понял. Что надо в любом случае спрашивать у пользователя фото в разных ракурсах. Это факт, полностью с Вами согласен.

 

А на что будет смотреть ИИ, сказать нельзя, если изначально не ставить цель сделать модель, объясняющуюся в человеческих терминах. Она может находить совсем странные для человека шаблоны, от которых будет зависеть ее предсказание,  но от которых оно будет не менее верным. И может быть так, что ее шаблоны будут хорошо работать даже с одним ракурсом.

 

Т.е. хотя нам, людям, необходимо видеть кольцо, чтобы думать, что тот или иной гриб принадлежит конкретному виду, ИИ может обнаружить что-то, что позволит различать виды и при взгляде сверху. Но кольцо при этом все равно будет подтверждать ее догадки, и она будет более уверенна в своем определении, поэтому, показывая ей вид гриба не только сверху, но и сбоку, мы увеличим (возможно, сильно) точность ее предсказания. Поэтому я так и выразился.

 

[=SM= 37 476]

27 минут назад, Грибок сказал:

сбор качественных наблюдений.

Для этого, еще раз, надо секвенировать и подтверждать определение анализом ДНК.  Без этого ошибок определения огромное количество, особенно по таким родам, как волоконницы, гебеломы, паутинники, галерины, псатиреллы. Да те же опята "осенние". Да даже подберезовиков (включая твердоватый и грабовик) у нас растет 9 видов, некоторые из которых отличаются, к примеру, только фактурой чешуек на ноге, и ошибиться с видом на раз. Это у нас нереально, собрать качественный в смысле точности определения материал. Секвенирование одного образца сейчас стоит 2000 руб (это еще если праймеры стандартные ITS1F/ITS4, а если надо иные, то плюс за синтез праймеров), и это без анализа полученных данных, получаешь только хроматограмму, а дальше возись сам. А вот у датчан там как раз пересеквенирована добрая половина образцов (Томас Лессо и Дженс Петерсен как раз там, в том числе непосредственно с этим сайтом связаны).

 

То есть, хотя бы несколько фоток ошибочного определенного гриба в базе данных - и это уже криминал.

[Грибок 5]

3 часа назад, =SM= сказал:

надо секвенировать

Согласен. Если мы хотим получить нормальный инструмент, который, возможно, даже более важные визуальные признаки найдет для определения грибов с точки зрения генетического родства, то надо его обучать только на отсеквенированных грибах. Тогда да, у сибиряков, у которых "no attempt was made for the revision of the species identification accuracy", ерунда, прошу прощения.

 

3 часа назад, =SM= сказал:

Это у нас нереально

Финансирование выбить?

А как у датчан получилось, не знаете? Им в международных проектах разрешают участвовать, а нашим нет?

[=SM= 37 476]

11 минут назад, Грибок сказал:

А как у датчан получилось, не знаете?

Не знаю как.

Но в других странах микология совсем на другом уровне, по сравнению с нами. Тот же наш БИН секвенирует немало образцов, но вот делать сайты с фотками их  коллекций у них нет желания. А у буржуев - есть желание. У Аронсена - mycena.no, у Лессо-Петерсена-иже с ними обсуждаемый тут ресурс, и т.д. Зачем им это? Да понятия не имею. Наверное, что-то от этого получают. Ну и это Имена с большой буквы в мировой микологии, конечно же.

[Грибок 5]

23 минуты назад, =SM= сказал:

у них нет желания

А уже были преценденты, чтобы кто-то предлагал? 
 

34 минуты назад, =SM= сказал:

Зачем им это?

Может, в случае датчан, они так чаще публикуются? Им находят редкие грибы/грибы в новых местах, отправляют образцы, а они анализируют и выпускают статьи по уточнению ареала или еще чего.

[=SM= 37 476]

8 минут назад, Грибок сказал:

А уже были преценденты, чтобы кто-то предлагал? 

Они там сами в своей кухне варятся, так что не знаю. 

 

9 минут назад, Грибок сказал:

Может, в случае датчан, они так чаще публикуются?

Да понятия не имею. Но ясно одно - на это у них есть бюджет.