Грибные справочники для смартфонов

[Грибок 12]

Да, сейчас это большой проект, я согласен. Но ведь он тоже с чего-то начинался. И, кстати, если посмотреть, то как раз с объединения некачественных наблюдений, как это делают сибирские коллеги: Новости из Грибного атласа: 2011. Чтобы привлечь внимание фондов, музеев и институтов, надо делать что-то, что в наших силах, и показать, что эта тема будет стоить вложенных в нее сил и средств других людей. 

Поэтому я и думаю, с какого бока к этому подойти и прошу вашего совета.

 

Во-первых, чтобы самому понять, что именно вам нужно, чтобы развивать микологию. Как я вижу это дело сейчас: это должна быть система, которая дает ученым данные о местонахождении, фото и предварительный таксон найденного гриба. Потом ученых может заинтересовать какое-то наблюдение, и они запросят образец гриба для какого-то детального изучения, будь то секвенирование или еще что-то. Любителям-грибникам она даст максимально удобное и точное определение + участие в науке, можно будет какие-то социальные вещи к этому прикрутить, как тот же топ искателей в датском атласе.

 

Во-вторых, чтобы избежать ошибок, этических и методологических. Я многого могу не учитывать из того, что опытному специалисту кажется очевидным. Например, последний раз микроскопировал я два года назад, и у меня не так близко в памяти лежит, что вообще-то каждая микроскопия уникальна по картинке, и что нейросеть на ней так просто не обучишь. 

В-третьих, чтобы понять, с чего сейчас начать. Например, что лучше сначала использовать секвенированные датские грибы, а не кое-как определенные наши. И что можно постучаться в БИН, и спросить, что им нужно для оцифровки их коллекции, прежде чем останавливаться на датской.

Я очень ценю то, что вы мне отвечаете, а не забрасываете эту тему в ящик. Без вас я бы не узнал так много за три дня. И может, мы сможем изменить ситуацию с нашей "гражданской" микологией, если дальше будем все это обдумывать.

[=SM= 38 461]

12 часов назад, Грибок сказал:

И что можно постучаться в БИН, и спросить, что им нужно для оцифровки их коллекции,

Ха-ха. Для этого надо разогнать весь БИН, и сделать новый с нуля 

 

[Грибок 12]

@=SM= 

А что, у микологов там все так плохо? Гербарии их вроде хорошо цифруют, я даже пару раз поглядывал, когда необходимость возникала: Образцы | Гербарий БИН РАН.

 

[=SM= 38 461]

12 минут назад, Грибок сказал:

А что, у микологов там все так плохо?

У них там сугубо свои академические цели и задачи. 

[mullvad 1 171]

14 часов назад, Грибок сказал:

Да, сейчас это большой проект, я согласен. Но ведь он тоже с чего-то начинался.

Он сразу начинался как большой совместный проект государственных и частных научных организаций и всё тех же Петерсена и Лэссо с уже мировыми именами.

 

14 часов назад, Грибок сказал:

можно постучаться в БИН, и спросить, что им нужно для оцифровки их коллекции, прежде чем останавливаться на датской.

Одно другому не мешает. Начните учить ваш алгоритм на датской базе, вреда от этого не будет. Стучитесь в БИН, от этого вреда тоже не будет. Если их заинтересует ваше начинание, то это только win-win - у вас будет двойной объём верифицированных находок для вашего ИИ, включая те виды, которых у датчан просто нет в силу географии.

 

14 часов назад, Грибок сказал:

И может, мы сможем изменить ситуацию с нашей "гражданской" микологией, если дальше будем все это обдумывать.

Чтобы изменить ситуацию с гражданской микологией надо в первую очередь желание научной микологии эту самую ситуацию изменять, как это делают скандинавы.

[Грибок 12]

59 минут назад, mullvad сказал:

Он сразу начинался как большой совместный проект

Да, Вы правы, там действительно были такие ресурсы уже в начале проекта. Спасибо за прямоту.

 

59 минут назад, mullvad сказал:

Одно другому не мешает.

Согласен, это надо параллельно делать, спасибо.

Надо еще будет решить, как делать обработку координат. Я про строчки знаю, что у них окрас от региона зависит, наверное, некоторых других грибов это тоже касается.
 

59 минут назад, mullvad сказал:

желание научной микологии

Будем надеяться, что оно созреет... Попробую предложить свою помощь, может, что-то и выйдет.
 

[Юкош 7 974]

4 часа назад, Грибок сказал:

Будем надеяться, что оно созреет... Попробую предложить свою помощь, может, что-то и выйдет.

Обязательно отпишитесь о результате, очень интересно. Тут у нас много кто пробовал, да мало у кого получилось там кого-то чем-то заинтересовать. Раньше на эту тему разговоров было немало. Кое-что здесь 

https://forum.toadstool.ru/topic/5974-наш-вклад-в-микологию-что-можно-сделать/

 

[Грибок 12]

@Юкош Спасибо! Очень мне поможет для составления предложения! Отпишусь обязательно

 

[Грибок 12]

Коллеги, я пропал надолго, но теперь возвращаюсь с новостями.

В бин я сходил, мне там понравилось. Там в целом есть два человека, которые сейчас занимаются только оцифровкой и приведением материалов в презентабельный вид. Этого, конечно, очень мало для такой задачи, поэтому все тянется годами. 

Сотрудничать они готовы, предложили несколько разных задач:
1) ИИ для оцифровки, чтобы она автоматически с этикеток нужные данные считывала. Оказывается, времени на чтение стремных почерков и перепечатывание  уходит больше, чем на само фотографирование.
2) ИИ для точного определения в пределах каких-то таксонов. Чем-то они занимаются активнее, и поэтому оно уже есть в приемлемом для обучения ИИ виде.

Я думаю сначала заняться первым, чтобы быстрее происходила оцифровка, и было больше материала для второго.
На этом фронте работ как-то так.

С точки зрения получить приложение уже сейчас:
Я нашел очень интересную модель, ее обучали одновременно на тексте и на фото, и поэтому она знает, какой организм какому родственен, и может делать какие-то предположения и исходя из этого. imageomics/bioclip-2 · Hugging Face
Обучали ее, на данных с Global Biodiversity Information Facility (GBIF) (т.е. в том числе и на датских), Encyclopedia of Life (EOL), BIOSCAN-5M, and FathomNet: imageomics/TreeOfLife-200M · Datasets at Hugging Face.
Точность на грибах выше, чем у датчан, но все равно не запредельно высокая: 85% шанс, что вариант, в котором модель уверена больше всего, людьми определен так же.

Из минусов - для телефона она тяжеловата, и как следствие, будет весить 10Гб и думать по 30 секунд, или доступна только с интернетом.
Тут надо выбирать, чем жертвовать. Наверное, офлайн-доступ и скорость с весом предпочтительнее, и лучше взять модель полегче, но поглупее.

[=SM= 38 461]

17 минут назад, Грибок сказал:

Наверное, офлайн-доступ и скорость с весом предпочтительнее, и лучше взять модель полегче, но поглупее.

Вот по-моему наоборот, оффлайн доступ вообще толком не нужен. Что-то такое-непонятное можно (и нужно) определять уже в домашних или лабораторных условиях, внимательно изучая понаделанные в лесу фото, и если надо, взяв образец и проводя дополнительные исследования с ним. 

 

Оффлайн если и нужен, то только на совсем потребительском уровне, типа  "белый"-"масленок"-"сыроежка" - ... - все остальное поганка.

[Грибок 12]

Посмотрел сейчас, онлайн уже работает: Bioclip 2 Demo - a Hugging Face Space by imageomics. У меня только с впном загрузилось.

 

9 минут назад, =SM= сказал:

оффлайн доступ вообще толком не нужен

Мне кажется, от культуры зависит. У меня лично опыта в таком мало, и я поэтому часто жалел, что не сфотографировал в нужном месте (вольву там, например, не видно было или текстуры ножки из-за фокуса сбитого). А если б сразу на месте удобно было бы определять, я бы там эти признаки и посмотрел.
 

[=SM= 38 461]

2 минуты назад, Грибок сказал:

А если б сразу на месте удобно было бы определять, я бы там эти признаки и посмотрел.

Ну да. И микроскопию тоже на месте сделать, для тех видов, где она необходима. И покапать разных реагентов, и еще не забыть их все с собой взять.

Это с опытом приходит, фоткать всё, что нужно, и проверять на месте, чтобы всё нужное в фокусе было.

Подавляющему большинству не надо определять дальше "поганка - непоганка". Вот это и есть тема для легковесного приложения в оффлайне, там хватит два десятка видов различить. А микологически-маньячное меньшинство домой все притащит, и там уже разберется.

[Грибок 12]

49 минут назад, =SM= сказал:

И микроскопию тоже на месте сделать, для тех видов, где она необходима. И покапать разных реагентов, и еще не забыть их все с собой взять.

О, точно. Надо будет над этим тоже подумать
 

 

49 минут назад, =SM= сказал:

Это с опытом приходит, фоткать всё, что нужно,

Да, я о том же. Но обидно, что что-то остается неопределенным, а потом его и не встретишь. Особенно когда в какой-нибудь сахалинской глуши это происходит, и там выбор - или совсем отстать от товарищей, или все тщательно описать и отфотать, чтобы точно определить, а не гадать потом, мацутакэ это был или сахалинский шампиньон.
С другой стороны, подзадоривает опять туда попасть, когда побольше преисполнишься  

 

 

49 минут назад, =SM= сказал:

Подавляющему большинству не надо определять дальше "поганка - непоганка"

Можно, конечно, и с этой стороны зайти. Сделать фильтры по съедобности, отсев краснокнижников и т.д. Из серой зоны грибы априори признать несъедобными или охраняемыми. Теоретически, тоже полезно. Надо с такими обывателями тоже пообщаться...