Программирование и Хакеры Сновидений

for chatter

Модератор: User

moonpointer
Сообщения: 7
Зарегистрирован: Чт янв 11, 2018 9:28 am

Программирование и Хакеры Сновидений

Сообщение moonpointer » Чт янв 11, 2018 9:48 am

Моё почтение! Хотел бы программировать для хакеров сновидений.

Идеи для реализации в ближайшие месяцы:
- Пасьянс Медичи в виде сайта
- Пасьянс Медичи в виде программы для windows/linux
- Программа для удобного ведения дневника сновидений
- (Возможно, но не уверен, что нужно) программа для составления списка пересмотра

Что хотелось бы, чтобы было, но пока нет даже в планах?
- Групповой чат для хакеров сновидений
- База знаний (что-то вроде узкоспециализированной википедии).

Почему я не занимаюсь этим прямо сейчас?
Мне нужна энергетическая помощь, а конкретнее - чтобы мне регулярно писали, что я участвую в таком-то проекте, делаю такие-то вещи и что эти вещи кому-то нужны. Также мне очень пригодится консультация по вопросам из области практик, идеи для реализации (если у вас есть ответ на вопрос "Какую программу я бы хотел видеть, чтобы практикой N было заниматься удобнее" - у вас есть идея).

Я давно увлекаюсь познанием окружающего мира и его интересных свойств, но по части осознанных сновидений и различных практик я на невообразимо низком уровне (неосознанные сны вспоминаю не чаще одного в месяц). Хотел бы присоединиться к хакерам сновидений как к исследовательской группе, получить практическое обучение/информацию и помочь, чем смогу. В моем случае это программирование - на python, html5, php... на чем угодно, выбор технологии зависит от задачи.

узелок
Сообщения: 1642
Зарегистрирован: Вс фев 03, 2013 12:58 am
Контактная информация:

Re: Программирование и Хакеры Сновидений

Сообщение узелок » Пт янв 12, 2018 12:43 am

Привет, у меня есть готовые на 75% рабочий API на ES6 для генерации цепочек событий по правилам пасьянса медичи. Есть web scrapper для этого сайта готовый на 95% но жутко каличный.

Для начала хотел бы я допилить имеющиеся проектики до вразумительного состояния, а после сделать архив ХС для ХС only с помощью генератора статических сайтов.

API для калькуляторов пасьянса медичи сам как-то доделаю, там только отрефакторить нужно.

С web скрейпером мне нужна идейная помощь. Проблема в том, что я не могу придумать как сделать обновление для существующей БД. То есть сейчас она написана так, что каждый раз при желании сохранить новые посты из форума мне приходится создавать полностью новю БД, и ждать несколько минут пока скачается весь форум. Что не хорошо. Кстати, использую sqlite3 а скрейпер написан на на python и фреймворке Scrappy.


Не только тебе нужен кто-то, кто бы пинал меня периодически. Но это не есть проблема. Если попросим, наши девочки возьмутся за это неблагодарное занятие :-)

Аватара пользователя
User
Сообщения: 274
Зарегистрирован: Ср фев 17, 2010 7:43 pm

Re: Программирование и Хакеры Сновидений

Сообщение User » Пт янв 12, 2018 3:45 am

узелок писал(а):
Пт янв 12, 2018 12:43 am
С web скрейпером мне нужна идейная помощь. Проблема в том, что я не могу придумать как сделать обновление для существующей БД. То есть сейчас она написана так, что каждый раз при желании сохранить новые посты из форума мне приходится создавать полностью новю БД, и ждать несколько минут пока скачается весь форум. Что не хорошо. Кстати, использую sqlite3 а скрейпер написан на на python и фреймворке Scrappy.
Узелок, есть же готовые скрэпперы с возможностью инкрементного бэкапа

moonpointer
Сообщения: 7
Зарегистрирован: Чт янв 11, 2018 9:28 am

Re: Программирование и Хакеры Сновидений

Сообщение moonpointer » Пт янв 12, 2018 5:39 am

Чтож, если помощь нужна именно идейная
узелок писал(а):
Пт янв 12, 2018 12:43 am
С web скрейпером мне нужна идейная помощь.
Чтобы не создавать каждый раз новую базу sqlite, можно делать в объявлениях таблицы уникальные (UNIQUE) поля. Это позволит в случае добавления двух постов с одинаковым уникальным полем игнорировать добавление последнего, и в базе данных не будет новых копий при каждом скрапинге.

Возможно, было бы полезно сделать пару уникальных значений (в конце объявления таблицы пишем UNIQUE(поле_1, поле_2)). Если поле_1 сделать id сообщения, а поле_2 - датой его последнего изменения, то таким способом, если исхитриться, можно обрабатывать случаи редактирования сообщений пользователем.

По поводу сохранения только новых постов - можно попробовать сохранять дату последнего скрапинга и при скрапинге названий тем в самой правой колонке сравнивать дату последнего сообщения с датой последнего скрапинга.

А вообще вместо скрапинга можно попросить админов где-нибудь выкладывать бэкап данных сайта в каком-нибудь удобном формате, у них-то есть доступ к базе данных.

узелок
Сообщения: 1642
Зарегистрирован: Вс фев 03, 2013 12:58 am
Контактная информация:

Re: Программирование и Хакеры Сновидений

Сообщение узелок » Сб янв 13, 2018 12:34 am

User, Teleport Pro выдавал мне результат объемом в 2Гб после нескольких часов работы.

moonpointer, как я сам не додумался? Спасибо!
Про UNIQUE поля не знал.

Еще у меня есть идея сохранять темы не в БД, а в фалый с простенькой разметкой, например, Markdown. Тогда их сразу же можно было бы использовать в качестве сырья для генератора статических сайтов, чтобы сделать архив ХС.

moonpointer, заметил, что у тебя проги по ПМ в приоритете. Почему?

Heptarion
Сообщения: 251
Зарегистрирован: Вт сен 07, 2010 6:57 pm

Re: Программирование и Хакеры Сновидений

Сообщение Heptarion » Сб янв 13, 2018 12:57 am

moonpointer, а ты сугубо набор web-ресурсов хочешь сделать, или планируешь в дальнейшем использовать их для каких-то исследовательских целей? Данные из дневников сновидений поанализировать, структуру ПМ поизучать и т.п.?
Best regards,
Karras

moonpointer
Сообщения: 7
Зарегистрирован: Чт янв 11, 2018 9:28 am

Re: Программирование и Хакеры Сновидений

Сообщение moonpointer » Сб янв 13, 2018 4:24 am

Heptarion, я хочу делать веб-ресурсы, приложения для windows/linux, возможно для телефонов, для людей, чтобы автоматизировать и по возможности упростить какую-то деятельность. Таким образом я участвую в сообществе, появляются поводы для общения и столь недостающая мне социальная энергия.

Данные дневников сновидений я считаю сугубо приватными и не хочу бессовестно и без разрешения пользователей собирать их какой-нибудь бездушной гуглоаналитикой - анализ этих данных не поможет ни мне, ни развитию "нейросетей" и "высоких технологий", которые придумали исключительно как оправдание для глобального сбора данных.

Я считаю, что лучший материал для анализа - мой собственный дневник сновидений, в котором записаны мои собственные сны. А программа для ведения такого дневника - очень хорошее напоминание о необходимости регулярно его вести, особенно если ее ярлык постоянно перед глазами. Еще полезность такой программы может быть в автоматическом выставлении даты - а то просыпаешься, и попробуй с утра вспомнить, какое сегодня число.

В случае с пасьянсом медичи очень удобно иметь виртуальные карты, на задней стороне которых можно посмотреть их значения и дописать собственные. Ну и, конечно, если я создам сайт или программу для пасьянса медичи - я смогу точно сказать, что понимаю, как этот пасьянс раскладывать. Опять-таки данные чужих пасьянсов я считаю приватными и ни в коем случае не хочу без спроса собирать.

Вообще считаю, что сбор данных - критических ли данных пользователя или данных о том, кто сколько нажимал вот на эту кнопку интерфейса - совершенно позорное занятие без практического применения, которое замусоривает каналы Интернета и подрывает доверие пользователя к разработчику.

Если мне захочется узнать хорошие и безопасные загадываемые цепочки событий - я о них спрошу на форуме, и мне наверняка ответят. Да и в открытом доступе могут встретиться как цепочки событий, так и опубликованные дневники сновидений

Heptarion
Сообщения: 251
Зарегистрирован: Вт сен 07, 2010 6:57 pm

Re: Программирование и Хакеры Сновидений

Сообщение Heptarion » Сб янв 13, 2018 1:32 pm

moonpointer, я вообще-то не про сбор данных спрашивал. Я тоже писал свой вариант генератора ПМ именно для того чтобы разобраться с алгоритмами складывания пасьянса и с его общей структурой. Только у меня потом фокус внимания сместился от ПМ скорее вообще к различным карточным и не толкьо играм, системам автоматической генерации музыки и т.д. и т.п. Вообще не понимаю зачем мне воровать чужие цепочки =) Я скорее про такого рода исследования. Навыки программирования прекрасно дружат с формальными системами вроде карточных игр =)

То же и касательно дневников сновидений. Воровать чужие дневники мне не нужно. Я скорее про то, как можно попытаться изучить большой массив данных о снах. Скажем, есть проект The Quantitative Study of Dreams. Фактически, он базируется на специальной системе кодирования содержимого снов. Но такие методы сейчас уже слегка устарели. Можно попытаться прикрутить NLP к анализу содержимого снов. Скажем, используя vord2vec перевести текстовые описания сновидений в числовую форму, с которой уже можно неплохо справляться обычными методами ML и анализа данных. Семантическую карту своеобразную, к примеру, попытаться сделать =)
Best regards,
Karras

moonpointer
Сообщения: 7
Зарегистрирован: Чт янв 11, 2018 9:28 am

Re: Программирование и Хакеры Сновидений

Сообщение moonpointer » Сб янв 13, 2018 3:09 pm

Heptarion, а какую конкретную пользу людям даст анализ таких данных? Вот, допустим, данные обработаны, есть семантическая карта, есть связи между словами и даже отношения этих слов к каким-то категориям. Что дальше?

узелок
Сообщения: 1642
Зарегистрирован: Вс фев 03, 2013 12:58 am
Контактная информация:

Re: Программирование и Хакеры Сновидений

Сообщение узелок » Вс янв 14, 2018 1:32 am

moonpointer, чтобы с ПМ разобраться для начала возьми колоду карт в руки и почитай архивы о том как создавать сходящийся рассклад, и что после делать с ним.

Ответить

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 11 гостей