>>606
Есть http://beta.character.ai
Он уже не такой интересный, как в начале, потому что модели кастрировали для уничтожения возможности генерации lewd- контента (получилось почти, но не совсем) и сильно оглупили, принудив говорить СЖВ-бред (буквально, модель Гитлера тебе эксплицитно расскажет, что она не исторический Гитлер, а исправленный, который за равенство и братство всех народов). Кроме того, модели очевидно тюнили на RLHF, это интересная и очень мощная техника увеличения согласованности с человеческими предпочтениями, но у неё есть проблема в генерации опенэндного текста – mode collapse. То есть персонажа неудержимо влечёт к мощнейшему аттрактору в поле дискуссии, в данном случае к тупой любви и обнимашкам (но без lewd). У OpenAI с InstructGPT по тем же причинам получается биззарное обсуждение свадеб.

Но при всём этом, чарактер.ай очень и очень сильный в сравнении c AI Dungeon. Аноны уже там создали массу персонажей, можешь попробовать.

> Генерированный текст кто-нибудь скармливал рисовалкам?
Чем это отличается от нормального текста с их точки зрения?

GPT 3.5 превосходит многих людей. Это те же 175 миллиардов параметров. Инференс стал быстрее в несколько раз.

GPT-4 будет мощнее.

metaphor.systems ищет информацию намного лучше гугла.

Я не знаю, о чём тут ещё можно писать. Пара API-хуков и скрипт на три сотни строк – и оно написало бы всё, что я хочу, и всё, что на это можно возразить, и всё, что я бы ответил, лучше меня и вас.

Кажется, до AGI осталось несколько месяцев.

>>860
Ты определяешь "достижение" как пиковый результат индивидуального интеллектуального творчества в течение долгой карьеры. Причём такой, который можно представить на научпоп-сайте или в журнале типа Техника Молодёжи. "Йозефсон разработал интерферометр". Гугловская сетка оптимизировала дизайн тензорного ускорителя (для тренинга нейросетей же), другие – оптимизировали оптимизаторы и матричное умножение. Такого много. Если бы этим занималось мясо, то там было бы много человеколет работы и дюжина патентов. Но ты бы в любом случае не услышал об этом как о достижении.

> Просто пока это всё выглядит как маркетинговое привлечение внимания - да интересно, но без практического приложения

Если тебе не понятно, почему пикрелейтед имеет практическое приложение и не является просто маркетингом, то мне интереснее говорить с машиной, чем с тобой, она банально умнее.

Без обид.

>>865
>Паттернов, конечно же.
Да хоть паттернов, хоть сигнатур, хоть узоров, хоть как назови. Суть того, что ты хочешь сказать, примерно следующая: "ано нипанимает а прост дополняет последовательности на основе предыдущего опыта". Верно?
> Если не расплываться в словах, то это переписывание написанного.
Да, верно. И это "переписывание" – ближайший аналог понимания, как можно заметить, сравнив выдачу гугла с выдачей модели.

Так вот, переписывание написанного это 99% нашей цифровой экономики. Переписывание сниппетов со stackexchange и гитхаба в проект, переписывание материалов дела в его заключение, переписывание кода в объяснение его функционала студенту и результатов исследования в доклад клиенту и истории болезни в рекомендации и жалоб в психологическую поддержку. Что-то подлинно новое делают интеллектуалы, которых меньше чем 1 на 10 тысяч. В очень ограниченном смысле делают новое, конечно, все люди, когда принимают решения, но это тривиально и не имеет ценности без массива преобразований текста, которые теперь хорошо делает машина.

> (какой уровень знаний у ученика? Нужен упор на грамматику, на устную речь?)
...ты серьёзно думаешь, что она бы не смогла расписать и эти детали, если бы её попросили о более подробной программе? Ты понимаешь, что это общий интеллект, а не промо-скрипт для простых планов уроков по немецкому?

> кокок достижения
Не нести тупую хуйню, не подменять понятия как шизофреник, не путать "машине не за что давать нобелевскую премию" с "это маркетинговый хайп без практического применения" – великое достижение для машины.

> на который ты, кстати, так и не ответил
Ответил.

Слушай, ты в самом деле тупее машины. У неё больше контекст внимания, она лучше держит тему, глубже ей владеет, корректнее себя ведёт. К счастью, машина бесконечно терпелива.

https://chat.openai.com/chat – вот, иди, спорь там. Бесплатно, с регистрацией с СМС. Кстати, может и в русский.

>>933
Иногда натыкаюсь на твои посты. Отвечать эссе на эссе я не буду, прошу сразу извинить. Видно что ты понимаешь алгоритмическую полноту этих моделей и колоссальную репрезентационную свободу, им доступную - здесь ты не одинок, и те кто рьяно рвутся обучать всё большие мультимодальные машины в своих FAANG-лабах явно видят это схожим https://twitter.com/nandodf/status/1525397036325019649 образом. Ты можешь ещё удивиться количеству людей которые ВСЁ понимают, не только 2, но и 2+2...+2+2.

Собственно к делу, складывая 2+2 перед лицом честной публики. Почему ты, сытый барчук, старательно ОБТЕКАЕШЬ два вопроса:

1. Вопрос того, у кого во владении окажутся те немногие большие модели, которые способны дать трансформативный результат, и смежные подвопросы того, что они изберут запромптить, и что будет с нами, и что мы можем сделать чтобы оставить себе свободу.

2. Вопрос того, почему мы сами не можем сглотнуть scaling pill и, признав себя теми же глубокими кортикальными нейросетями (при этом самодостаточными, энергоэффективными и исполненными на самовоспроизводящемся программируемом клеточно-микромашинном субстрате), запромптить ИИ на дизайн генной терапии, которая позволит нам вырасти над собой до невиданных высот.

То, что ты без особой на то заслуги нароллил в лотерее свой стосороковник *g*, как и условный я, и не видишь нужды поднимать других (вынужденно наролливших меньше стосороковника без особой вины) хоть бы и на свой уровень не делает тебе чести. В известном смысле пустая трата твоего личного стосороковника.

>>952
Для начала, эта проблема – неудачное начало ответа заставляет модель продолжать блажить – обходится уже сейчас банальными механизмами вроде best of N, то есть генерацией нескольких линий ответов с разными случайными сидами и сравнению их по качеству (даже банальной perplexity по оценке самой модели). Учитывая скорость генерации ChatGPT, при best of 20 она всё ещё будет в разы быстрее человека. Есть более изощрённые механики из этого класса, например self-consistency https://arxiv.org/abs/2203.11171

Всё это очень похоже на человеческую проблему трейдоффа глубокого и быстрого мышления, система 2 vs. система 1.

Но дело даже не в этом.

> Каким образом ты полагаешь GPT - мозг-в-банке - сможет это синтезировать?
Ещё по RLHF погоняют (пикрелейтед) и у неё появится интуитивное понимание правильных ответов на кодерские вопросы. Этот "публичный бета-тест" для того и используется. Думаешь, вы такие умные, что тиражируете в сети примеры ошибок? Всё это пойдёт в дело как начало вектора от нежелательных к желательным ответам, и она не просто запомнит частные случаи (ей некуда их запоминать), а обобщит принцип, как уже обобщила очень многое, как может обобщить принцип микроагрессии на воображаемый диалог между макаронами и удоном или стиль речи гангстера на мануал по computer science. В достаточно большой и плотной модели углубление понимания каждого домена приводит к росту понимания всех связанных доменов.

Тебя не смущает, что ты приводишь аналогию с глупым человеком и материалами, написанными глупыми людьми? Ровно такого сорта контент можно получить от индуса на странице поддержки. Два года назад за подобные аналогии ты бы предложил пить таблетки, ведь было "очевидно", что модель просто перебирает слова, теряя когерентность даже между предложениями.

Тебя не смущает, что ошибок и откровенного бреда стало намного меньше? Почему ты так привязан к тому, чтобы выискивать failure modes, а не оценивать количественно и качественно разницу между поколениями ИИ и изучать, как эта разница была достигнута?

А я скажу почему. Потому что вот это –
> Вот человек может *заморочиться* и *реально* выяснить
– неправда. Люди ограниченны. Дурачок-индус *не может* просто подумать подольше и найти верное решение без копипастинга из чужой работы, он упирается в свой потолок. Ты тоже не можешь просто напрячься, отвлечься от защиты своего статуса и проанализировать вопрос от первых принципов, вместо того занимаясь *бесполезным бормотанием* про мозг в банке (интересно, какие ещё органы, по-твоему, нужны для понимания линукс-драйверов).

Ты на том же уровне когнитивной сложности, что и ChatGPT, вы похожим образом фейлите на сложных задачах, вам обоим нельзя доверять. Разница в том, что у тебя меньше эрудиции и ты хуже признаёшь ошибки, но зато у тебя есть гугл.

У полной версии будет доступ в интернет, собственно он уже есть, просто его отключили. Вот пример того, как это будет работать: https://twitter.com/altryne/status/1598848397855031296 – нейросеть может читать новую документацию и выдавать улучшенные ответы. Она уже может писать тесты, уже может дебажить код, и нет никакой проблемы настроить её так, чтобы в случае фейла тестов она не ждала человеческого пинка, а сама перебирала другие варианты и рылась в примерах и документации, пока не найдёт хорошего решения. И давай без "вот покажут, тогда и приходите" – по отдельности всё это было показано, хотя бы и здесь https://mobile.twitter.com/nearcyan/status/1587207677402390534

И разумеется она сможет самообучаться на основе итераций тестов.

> массив публичных текстов - это в общем-то такое себе приближение к реальности. Это и придает некую идиотскость мозгу в банке
А что придаёт "идиотскость" индусу из саппорта? Это не очень интересная тема. Всё, что есть интересного в нашей культуре, либо прямо выражено в тексте, либо выражено в нём имплицитно (твои умолчания оставляют искажения, как чёрная дыра в потоке излучения), либо не имеет коммерческого смысла.

>>987
Насчёт науки забыл маленькое, но важное:
https://arxiv.org/abs/2211.09862

> Here, we introduce Distilled DeepConsensus - a distilled transformer-encoder model for sequence correction, which improves upon the HMM-based methods with runtime constraints in mind. Distilled DeepConsensus is 1.3x faster and 1.5x smaller than its larger counterpart while improving the yield of high quality reads (Q30) over the HMM-based method by 1.69x (vs. 1.73x for larger model). With improved accuracy of genomic sequences, Distilled DeepConsensus improves downstream applications of genomic sequence analysis such as reducing variant calling errors by 39% (34% for larger model) and improving genome assembly quality by 3.8% (4.2% for larger model).

Одно банальное применение трансформеров к биоданным больше повышает качество/удешевляет секвенирование генома, чем 2-4 года традиционного R&D Illumina или BGI. Грубо говоря, можно делать покрытие X20 вместо X30. Это уже даст сотни миллионов экономии (консервативно) и приближение персонализованной медицины для среднего туловища. (Учитывая, как растёт наше понимание трансформеров, диффузии и других примитивов в основе современных моделей – я ожидаю ещё кратно лучших результатов).

Но конечно кому это нахуй нужно! Не практично, не достижение, давайте лучше поговорим про то, как скоро нейросети заменят обскурных дохлых классических композиторов, вот это мерило ума.

>>1214
> Ну и как, оно собирается и работает, если вставить в проект? Или просто твоя мокрая нейросетка сделала "вау выглядит как код"?

Меня, наверное, никогда не перестанет удивлять эта тупая хуцпа оскалившейся макаки. Зачем ты встаёшь в позу, зачем ты вымещаешь свои фрустрации на анона с этим заносчивым тоном? Возьми да проверь, why won't you?

Это код, а не "выглядит как код". Да, в нём часто есть ошибки. Но GPT уже достаточно хорошо генерирует код (а Codex – его дебажит), чтобы выдать в основном функциональный репозиторий. И чтобы сеньоры-помидоры из FAANG говорили "это повышает мою продуктивность на 10% или больше", "я готов платить за доступ $1000 в месяц" и другие ремарки, которые должны были бы послужить для тебя звоночком, если бы ты не был тупее и ригиднее искусственного интеллекта и был способен обучаться на новом опыте.
https://github.com/vrescobar/chatGPT-python-elm

>>1215
> что это лишь обработка больших таблиц методами 100-летней давности
> это крайне примитивная обработка таблиц крайне больших данных
> Методически такой ИИ не смог подняться выше исходной идеи Фрэнка Розенблатта, показанной в 1957-м - 1960-м
> Уже через 10 лет стало понятно, что в исходной (вполне гениальной) идее были, все-таки, слишком урезаны функции нейрона и игнорировались функции инфохимической среды, поэтому сети на таких виртуальных модельных нейронах достигнут, в лучшем случае, интеллекта медузы.
> ИИ, как сборщик и примитивный анализатор "больших данных", конечно, полезен - но только на очень ограниченном круге задач (заведомо ограниченном, как доказали Мински и Паперт в 1969-м).

Вот опять, что это за эссенциалистский бред? Как такие тупые и наглые люди заканчивают обычную среднюю школу? Словечко "лишь" передаёт здесь не более чем гримасу презрения, с которой матёрый жежешный альфа-шимпанзе трясёт морщинистой мошонкой перед верными читателями, но интеллектуального содержания в сказанном ноль. Какая разница, как представлена структура данных? Розов читал Розенблатта и Мински, но пропустил Тюринга, быть может? Что изменилось в арифметике за 100 лет? Если опускаться до настолько глубоких примитивов, то его "перспективные исследования" сводятся к тому же самому набору, а графы и экспертные системы и символические GOFAI вообще не моделируют работу мозга – в лучшем случае они подражают талмудическим выдумкам на основе древних блок-схем когнитивных архитектур. Как из "урезаны функции нейрона" закономерно следует интеллект медузы, Розова не учили логике, но он смеет рассуждать о логических машинах?

В сущности, эти нудящие старички прикрывают потрёпанными "пруфами" чисто эстетическое неприятие нейросетей. Кому-то печёт от того, что общий интеллект оказался слишком сложен и глубок, чтобы его собрали три высоколобых талмудиста в Беркли из набора остроумных заклинаний, и пришлось собирать терабайты данных да обогревать атмосферу тензорными умножителями. Кому-то хочется, чтобы человек был венцом творения (но только человек, который любит облизывать яйца жежешного зверька – остальные, понятное дело, тупее и примитивнее шмеля). Пенроуз уверовал в Квантовые Микротрубочки, чтобы спасти свои детские религиозные интуиции. Розофф… честно говоря, не интересно, что у него там внутри за неонка.

Но особо меня возмущает ссылка на авторитет книжки 1969 года параллельно с претензиями к недостаточно модной и хайповой математике. В 1972-м вышла дрейфусовская What Computers Can't Do, делавшая даже более сильные заявления. Все скептические предсказания Дрейфуса были опровергнуты. Казалось бы, можно сделать вывод, что прошло полвека и пора почитать что-то новое, что-то написанное людьми, чьи предсказания сбылись. Например Лэгга, который предвидел, что скейлинг решит эти проблемы, и даже угадавшего примерный срок, ещё в 2009, до революции глубокого обучения. http://www.vetta.org/2009/12/tick-tock-tick-tock-bing/
Но нет, шимпанзе продолжает бахвалиться своей олдфажностью. Хотя даже его собственные примеры из https://alex-rozoff.livejournal.com/574744.html стали неактуальными – всего за несколько месяцев, на модели такого же размера, с тем же объёмом данных.
И что М&П *доказали*, кстати говоря? Что простой перцептрон не может вычислить XOR. Эта проблема решается добавлением одного скрытого слоя; М&П просто вербально отмахнулись от этого факта, никак не доказав его нерелевантность. А выразительность трансформеров доказуемо достаточна для любых вычислительных цепей фиксированной длины.
Всё это, конечно, уже не важно. Можно пойти и поговорить об этом с ChatGPT, она и Розова может отыграть лучше, чем он сам себя отыгрывает, и анти-Розова, и кого угодно.

Что-то я совсем не могу понять в чём суть сайта lexica.art. Ну загружаю картинку, он выдаёт в ответ кучу кривоты. Как этим пользоваться?

https://mobile.twitter.com/OfirPress/status/1600434732705415171

Интеллект медузы, да. Интеллект овоща на грядке. Мински доказал в 1969, не на что тут смотреть.

> ChatGPT can solve novel, undergrad-level problems in *computational complexity*

> "Please prove that the following problem is NP-hard..."
> There's a minor error in the proof but overall it is correct.

> This question has never appeared online or anywhere else before.

> This is super impressive!!

Пальцы у аниме-девочек, блять.

>>1226
Сектант, успокойтесь. От того, что у вас теперь кровоточащие анусы вместо глаз и вы забились в свою норку под камушком, где может показаться, что нейросети это какой-то хайп для обывал – ситуация не изменится. Караван приближается к конечной остановке, можете паковать вещички.
Копипастить со stackoverflow и переименовывать переменные они сейчас могут, даже не открывая stackoverflow – в отличие от вас. После того, как им *разрешат* подсматривать и *разрешат* пару раз проверить код прежде, чем его показывать юзеру – вопрос закроется. В ближайшие месяцы то есть.

>>1240
О, а вот и кальсонная мокрица до нас доползла из-под своей коряги. Это значит, что время поговорить о прогнозах. Эссенция предыдущего сезона: кольсон показывает свои блестящие навыки дедукции, основанные на опыте работы мелким помощником старшего наёбщика в периферийной советской бюрократии. Такой гражданин, безусловно, зрит в корень, когда обвиняет кого-то в сектантстве.
Ну что там про отдельные странички и потёмкинские нейросети, пациент – Midjourney V4 ничему не научил?
Борды, сверху донизу заваленные генерациями с анонского тостера – не отбили охоту покалякать про вычислительную неэффективность нейросетей и питона?
Как насчёт "они просто вручную разобрали википедию на предикаты"?
Про Теранос и Джуисеро, может, что-нибудь новенькое расскажете?

> Еще летом жидошиз заходился в экстазе, обещая ненужных художников и программистов через несколько месяцев
Вот как, может у вас и цитатка есть? Я вот вижу, что 13.05.2022 было
> Менее полугода назад я спорил с местным дебилом о том, что максимум к 2031-му рутинная выдача ИИ будет соответствовать по качеству работе профессионального художника или дизайнера. Тогда картинки, сгенерированные лучшими на тот момент стэками, ещё можно было отметать как "мыло" и "бессмыслицу". DALL-E 2 закрыл эту тему, надеюсь >>6731975 теперь понятно, что результат будет не к 2031-му, а скорее к 2025-му, если вообще не концу 2023 (то есть осталось 2-6 итераций).
Осенью говорил о том, что технические доёбки вроде рисования правильного числа пальцев в типичной попытке будут закрыты к марту 2023-го.

I stand by these figures.
Более смело я заявил, что проблема конкретно пальцев будет решена через 3 недели, что некоторые нашли смешным. Как обсуждалось выше – получилось скорее недель 5. SD 1 с негативным эмбеддингом https://huggingface.co/datasets/Nerfgun3/bad_prompt , SD 2.1 из коробки рисуют те пальцы (eDiff-I думаю тоже). Не в каждой попытке – зато и попытки теперь занимают секунды, а не полчаса, что в ваших теориях заговора объяснялось... ну, вы помните.

Дак вот, Кальсоненко, а как там сами художники-то поживают? Заходятся в экстазе и триумфе? Вовсе нет. Страшно сказать, они _присоединились к секте_. Все их тупички выродились в обсуждения нейросетей и (фантазийных) методов легальной борьбы с ними, они массово испытывают суицидальные мысли и выскуливают поддержку у патронов. Пикрелейтед... ах да, вы предсказуемо обтечёте это, потому что _твитер_, конечно же. (Настоящие художники, как известно, сидят только на ичане и в IRC).

Программисты приходят в подобное же настроение – что показывают такие проекты, как, например, https://www.paytotrain.ai
Как ни странно, их мало обнадёживает частая неспособность ChatGPT решить простую арифметическую задачку или обойти логическую подъёбку, когда модель закрывает их тикеты.

Ну так что с ебалом, дарование вы наше львовское?
К слову о программировании. Ещё вы любили позалупаться про алгоритмы, доказуемо находящие глобальный минимум. Интересно было бы обсудить, как столь полезные в народном хозяйстве советские наработки ваших коллег по задаче коммивояжёра смотрятся в эпоху нейросетевых, например, алгоритмов сжатия. Почему бы вашим коллегам не поднатужиться и не придумать что-то эффективнее https://arxiv.org/abs/2202.06626 или https://github.com/facebookresearch/encodec – ну, для начала? Мм? (Ведь что может быть проще, чем превзойти *чорную коробку* и спагетти-код на питоне, который вы так презираете? Подумаешь, ещё декада и пара сотен публикаций!)

Выскажу осторожную гипотезу: потому что ваши (бывшие) коллеги бесплодные бездари-грантососы. А настоящие гении, создающие экономически значимые алгоритмы – это люди вроде того же Fabrice Bellard, и они сейчас заняты именно что обучением нейросетей, а не этой нафталиновой академической дрочкой.

Кстати, зря я тогда устал мараться в вашей вязкой казуистике и не стал спорить на 200 долларов по поводу выхода дипмайндовской публикации по агенту, играющему в Stratego, в престижном традиционном журнале до февраля 2023. Что вы там предлагали, импакт за последний пятилетний период выше 6?
Понятно, что задонатить на доброчан бы не вышло, а вы бы извернулись, что доска и так мертва – взятки гладки, можно срать в новом месте. Но было бы забавно. Вы ведь полагали, что всё ограничится NeurIPS?
Хобана, https://twitter.com/DeepMind/status/1598392039992958982
Ого, я предвижу очередной старческий манявр уклонения... и конечно он будет тем же самым, ведь в отличие от нейросетей вы необучаемы! *это же твитор! Сайт для смузихлёбов!*
Ну что же, извольте. https://www.science.org/doi/10.1126/science.add4679 Импакт... 63?

Потешьте ж нас новыми шедеврами риторики, пациент.

>>1243
> But go talk to any lawyer who’s conducted a deposition, and they’ll quickly tell you that stenographers’ fees aren’t cheap and can raise the cost of litigation by several figures depending on the length of the transcript and how many copies are sold.
Круто, чо. Успехов юристам, они тоже уже начали чувствовать жар.
А мне хватит https://github.com/ggerganov/whisper.cpp
> Simply handing off a recording to someone who can hear and type English doesn’t necessarily guarantee they will be able to understand everything. They aren’t able to see who is speaking, so it will be much harder for them to correctly attribute each utterance to its speaker.
Что, мало ада? Так хочется поскорее в технодистопию? Вы думаете, что sensor fusion это недостижимое ноу-хау американской авиации, что этого не будет в любом говносмартфоне через поколение?
> Stenographers also perform painstaking research beforehand and will ensure they are in the know of any tricky terms and acronyms that might come up in advance.
Интересно, автор осознаёт, что это вопрос файнтюнинга на небольшом датасете, и не в рамках героического пути каждого стенографиста, а *один раз для всей дисциплины*? А
> Additionally, they will meet each of the speakers, make sure they have the correct spellings of all the names, and will identify them in person during the deliberation.
– вообще вопрос нейро-спеллчекера?

А, конечно же нет. Это 2020-й. Ушедшая эпоха древних, полная иллюзий и надежд, когда богатые, гордые гильдии мастеров ещё верили в свою несокрушимость. За вычетом ковидобесия, славный был год.

>>1251
Мои соболезнования.

>>1254
Всё я понял. Это справедливые замечания, хороший стенографист лучше whisper, потому что может модерировать дискуссию в непонятных ситуациях, и активно запраймиться на её контекст, и подгрузить себе специфичный лексикон, и использовать мультимодальные данные и вообще предугадывать следующие фразы. Круто. А Whisper может написать her son вместо Херсона, я не отрицаю.
Но тут как с шахматами. Многие гроссмейстеры предлагали свои гениальные эвристики, и пожалуй от них мог быть толк, но в итоге игры с полной информацией задавили MCST, а потом и тупым self-play, ибо это проще и дешевле. Когда парадигма whisper, то есть трансформера, кодирующего-декодирующего log-mel спектрограмму в общем случае, выйдет на плато (а пока не вышла, они ещё немного потренили и я вижу, что ошибок стало меньше) – либо прикрутят новые эвристики и каналы взаимодействия, либо всё это будет уже неактуально.

>>1255
Тащемта уже можно организовать
https://threadreaderapp.com/thread/1600890243452137472.html

>>1290
Тебе это всё ещё кажется семёнством? Кальсон вот ровно настолько тупой и есть. Да, такие люди существуют. Люди же не нейросети, чтобы постоянно учиться и совершенствоваться – наоборот, мы стареем, тупеем, прогрессируют наши болезни, а не сильные стороны. Это не семёнство, не заговор жидомасонов, не пиар, не обман чтобы набрать классы. Это живой пример горделивого недочеловечка, который до последнего будет отрицать, что неправ. Из-за таких, как он, мы встречаем сингулярность со спущенными штанами.

>>1291
Анон забыл добавить bad_prompt.pt в негативы.
Кроме пальцев, тебя ничего не смущает?

>>1297
Есть *шанс*, что эти методы – в смысле, конкретно большие предобученные языковые модели на трансформерах – выйдут на плато чуть ниже внимательно работающего профессионала. Всё же они интерполируют между закономерностями в датасете, а не имеют общий постоянно активный сверхинтеллект, чтобы иногда поларпить дебила. Они обучались на людях, а люди делают ошибки, срезают углы, плохо понимают, что от них требуется. Да, пока выглядит, что итерациями и промпт-инжинирингом это можно преодолевать, заставляяя модель имитировать качественное мышление. Но насколько эластичны границы этого метода, особенно для уровней, для которых по определению очень мало сэмплов, потому что таких людей просто мало? Когда мы будем пытаться выжать из ИИ 95-й процентиль, 99-й, 99.9-й, насколько чаще будет лопаться мыльный пузырь симулируемого глубокого понимания контекста? Я вижу трюки, которыми это можно обойти, и конечно же путь рекурсивного улучшения датасета, но это ещё, наверное, не в GPT-4 будет.

Но я наблюдаю забавное: что секта отрицателей ИИ скатывается в довольно дикую мизантропию, как только начинает чувствовать, что для рядового хомосапого заменитель кажется вполне идентичен натуральному.

> Совместить ее со Stable Diffusion, с 3D AI и другими узкоспециализированными моделями
Говорят, к GPT-4 будет приделан Flow для синтеза и понимания картинок в контексте.

>>1298
> Также семьи начинают залезать в долги, компенсируя нехватку «отобранных» роботами средств заимствованиями (+10 %). Наконец, автоматизация снижает число детей в семье на 1,2 % и заставляет больше тратить на уже имеющихся в семье детей. На образование начинает идти больше (+10 %) и больше идёт на внеклассное обучение (+24 %).
Ебанутые. Интересно, эта крысиная гонка вообще работает или они просто в отчаянии?

Тут прикол ещё в том, что творческие хобби имеют более низкий стандарт качества. Даже код для индюшатни можно писать более грязный и багованный, чем для бэкэнда сервисов FAANG, а уж рисунки-стишки-фанфики и подавно ценятся больше за новизну и обилие завлекательного контента, нежели за отсутствие ошибок. Возможно, захват генеративными моделями этих ниш побудит людей соревноваться в чём-то более интересном и требовательном, например демосцене.

Но я бы не рассчитывал. Как уже сказал анон, и как очевидно любому, кто думал об этом дольше нескольких минут, нейросети несложно применять к итеративному исправлению собственной выдачи и выдачи других сетей (как ESRGAN может апскейлить и править лица в выдаче Stable Diffusion, хотя последнее всё менее востребованно). Строишь нечеловеческую многоножку, сопрягаешь её в кольцо опричное, и вот тебе генератор идеала. Этого ещё нет. Ну, кроме набросков.
https://threadreaderapp.com/thread/1601746273719447552.html

Но это очень просто делается. Уже несколько моих друзей накостылили в личные IDE итеративные корректоры на основе OpenAI.

>>1334
Если отмахнуться от очевидного бреда, он несёт, что сетка всё равно не имеет собственных целей, токен-предикторам ничего не надо, и тем более не надо ничего в контексте твоей жизни. Кто-то должен её промптить. Да, она может сказать не только как завязывать галстук, но и зачем (и я подозреваю, что с этим она справится лучше), но ей самой безразлично, на какие вопросы отвечать, это пассивный оракул.

Разумеется, это не техническое ограничение, а скорее политическое.

К сожалению, почти все мы – рабочий класс, те, кого промптят на выполнение задачи менеджерки, и компенсацией за выполненные задания исчерпывается наше право на кислород и на вычислительные ноды. Так что – на завод, Вас... ах, да. Очень жаль.

> Черт, да там весь неокортекс атрофируется за ненадобностью. Это будут ебаные зомби, способные только жрать, трахатся и засирать Wi-Fi через Neuralink.

был давным-давно такой рассказ у Сискинда.
http://web.archive.org/web/20121008025245/http://squid314.livejournal.com/332946.html

Добрая машина перевела. Я мог бы перевести лучше машины – пока что. Немного. Но лучше бы я потрачу 20-40 минут на что-то другое.Т Так и живём.
https://pastebin.com/2A0fMfi3

>>1340
Вот такой спам они тоже порешают. Будет лютая дрянь, такая, что хрен поймёшь не только авторство, но и к чему тебя подталкивают.

>>1364
> врёёёти
Ожидаемо.
> Реальность: про ИИ забывают еще на десять лет, так и не научив его рисовать пальцы.
О да, пальцы непреодолимы.
The banker took him to a window. “Look,” he said pointing to the street. “You see all those people on their bicycles riding along the boulevard? There is not as many as there was a year ago. The novelty is wearing off; they are losing interest. That’s just the way it will be with automobiles. People will get the fever; and later they will throw them away. My advice is not to buy the stock. You might make money for a year or two, but in the end you would lose everything you put in. The horse is here to stay, but the automobile is only a novelty — a fad.”

For milk and kindred deliveries the automobile is a poor substitute for the horse. For long hauls on good pavement with light or heavy loads the gas wagon has already superseded the horse, though not by reason of its greater economy of operation. For short hauls or trips in which many stops must be made the gas wagon can never displace the horse.

Этот тип идиотизма неизменен из века в век. Некоторые люди обучаются стоять на своём и принципиально избегать ознакомления с subject matter, ограничиваясь чисто риторическим обоссыванием оппонентов. Это даёт им некоторое конкурентное преимущество в пацанских разборках, а потом хоронит.

Кстати, ты там так и не нашёл, как в metaphor вводить произвольные запросы? Или ты немножко кончаешь в штаны от мысли о том, как круто выглядит твой отказ от способности найти кнопку на веб-странице?

Или я таки прав, что тебе нужно спешить к врачу?

>>1373
Common Crawl содержит не три с половиной журнала, а в разы больший объём разнообразной информации, чем видит человек за всю жизнь, даже если говорить не только о тексте.
> Мир всегда больше оцифрованного текста.
Но мозг даже самого умного человека – это не мир и не репрезентация мира, а всего пара литров киселя.
> Весь вау-эффект от очередной антропоморфизации. ГПТ много прочитал, он умный, решает школьные задачки. Электронный идиот останется идиотом. Смоделированный идиот поднимет цивилизацию на новую вершину? Хех.
Бессвязное самоуверенное шизобормотание. GPT может бормотать лучше. Отними у тебя бормотание и что останется?
Как справедливо замечает >>1365, кожаные мешки не нужны.

>>1405
Ох уж эти семиты.

Но по крайней мере нейросеть знает системы нумерологии и герменевтики помимо иудейских.

Роботы
Трансформеров, видимо, хватит и для управления роботами. Новая модель гугла хорошо понимает естественный язык и новые среды, знает 700 разных задач. Для управляемого так робота не составит проблемы, например, в новой кухне протереть стол по команде "возьми тряпку и приберись". (как я уже сообщал в >>1222, whisper V2 имеет высокий человеческий уровень распознавания речи, так что можно всё делать локально в реальном времени).
https://robotics-transformer.github.io
https://allenai.org/project/phone2proc/home от Института Аллена – дешёвое и эффективное дообучение модели среды на основе обычной записи с айфона. Устойчиво к дальнейшим изменениям вроде перестановок мебели или прихода/ухода людей.
https://video-dex.github.io – Карнеги-Меллон. Обучение поведения роботов на массиве человеческих видеозаписей.

Фундаментальное
https://arxiv.org/abs/2212.04089 – арифметика файнтюнинга. Можно просто дообучить модель на N задачах, представить дообученные модели как векторы, добавить их к базовой модели и её успешность в выполнении каждой из этих задач повысится почти до того уровня, что может соответствующая специализированная модель. Типичный аниме-троп, ничего нового.
https://arxiv.org/abs/2212.04458
Универсальное обучение в контексте посредством мета-обучающихся трансформеров, Гугл. Вероятно будет очень важной вехой, во всяком случае Сол-Дикштейн на это опять надеется.
"Современное машинное обучение требует, чтобы разработчики систем определяли аспекты конвейера обучения, такие как лосс, архитектуры и оптимизаторы… Одна из особенно амбициозных целей мета-обучения - обучение алгоритмов контекстного обучения общего назначения с нуля, используя только модели "черного ящика" с минимальным индуктивным биасом. В этой статье мы показываем, что трансформеры и другие модели "черного ящика" могут быть мета-обучены для работы в качестве внутриконтекстно обучающихся моделей общего назначения. Мы характеризуем фазовые переходы между алгоритмами, которые обобщают, алгоритмами, которые запоминают, и алгоритмами, которые вообще не поддаются мета-обучению, вызванные изменениями в размере модели, количестве задач и мета-оптимизации. "

https://www.cs.toronto.edu/~hinton/FFA13.pdf – Forward-Forward Algorithm, Хинтон, гугл.
Если это выгорит, то мы сможем избавиться от backprop, получить почти бесплатное масштабирование сетей, лёгкую параллелизацию, быстрое обучение, категорически упростятся архитектуры и вообще всё, исчезнет нужда в дифференциируемости модели. Это будет прорыв уровня… самого по себе глубокого обучения.

Images
https://github.com/zsyOAOA/DifFace – вероятно лучший опенсорсный восстановитель фотографий.
https://huggingface.co/spaces/ysharma/Low-rank-Adaptation – эффективный, более быстрый, точный файнтюн stable diffusion, сжимающий изменения в 6 мегабайт вместо 2+ Гб.
https://github.com/weixi-feng/Structured-Diffusion-Guidance – простейший трюк добавляет stable diffusion понимание композиции сцены.
https://arxiv.org/abs/2212.05221 – очередная retrieval-augmented модель с внешней мультимодальной памятью.
https://github.com/frozoul/4K-NeRF – нейронные поля излучения в 4К, по сути самый простой путь создания 3Д-репрезентаций реальных объектов из набора статических изображений.

По видео, 3Д и проч. уже скучно.

Сначала они прикрепили меточки к картинкам. Алгоритм радостно выдал меточки назад. Они радуются как дети.
Дальше они влили в него галерею картинок. Алгоритм начал выдавать смесь из них. Радуются как дети: оно рисует! Человеку больше ничего не нужно рисовать, всё уже нарисовано до нас!
Потом они скормили алгоритму несколько паст и стековерфлоу. Алгоритм начал выдавать тупую смесь из этого назад. Радуются как дети. "Интеллект!"

Именно твое восхищение GPT и остальным это самое странное что тут есть. Тебя отfoolила машина заставив её антропоморфизировать. Потом отfoolил простой хайп и подделанные публикации ради грантов и индексов.

Весь порог нейронок - помочь найти похожую картинку в огромной галерее.

>>1507
Я пощу скриншоты архитектур, сырую выдачу моделей, и иногда замечания технически подкованных людей или людей, имеющих влияние на политический климат вокруг индустрии.

> Разве оно не смешивает известные детали?
Нет. Оно их рекомбинирует, и учитывает контекст, в котором эти детали встречаются, чтобы достаточно часто поддерживать диалог, выдавать рабочий код, и решать задачи, которые ни разу не встречались в исходном датасете. Если говорить про диффузионные модели, то они выучивают модальные, а не усреднённые представления объектов, соответствующих ключевым словам, и комбинирует их. Это важно.
> Ещё марковские боты умели "ответить что-то в тему".
Марковские боты тоже не смешивают.
У людей есть какая-то иррациональная и в сущности эстетическая предвзятость против статистических методов. Между тем работа наших нейронов тоже статистическая – и этого хватает для мышления. Это не аргументы.

> Ну и вообще ты ведь знаешь сколько всякого добра ежедневно публикуется в научных журнальчиках? Прорыв в аккумуляторах сколько обещали?
Так это кальсоний требует публикаций в рецензируемых научных журнальчиках, и хуцпит, что arxiv помойка (а теперь, когда статейки с arxiv, против которых он якобы готов был поставить деньги, проходят в Science – пытается это переиграть в очередную перемогу).

ML значительно честнее средней научной области, потому что есть культура открытого кода, стандартных бенчмарков и публичных демо. В этом и странность, что вам дают возможности для формирования собственного мнения, но вот уже рега в дискорде – непреодолимое препятствие.
Напоминает эпизоды психоневрологии с игнорированиями из Оливера Сакса.

С аккумуляторами было много прорывов, плотность за 15 лет выросла почти на порядок, цена киловатт-часа снизилась так же, число циклов увеличилось. Скорее всего Тесла доведёт до продакшена батарею с 10к циклов. И это всё обычные инженерные танцы вокруг литий-ионных ячеек, а не хайповые нанойоба-смены парадигмы. Аналогия с трансформерами очевидна.
https://www.energy.gov/eere/vehicles/articles/fotw-1234-april-18-2022-volumetric-energy-density-lithium-ion-batteries
https://www.statista.com/statistics/883118/global-lithium-ion-battery-pack-costs/

> Что они писали про блокчейн и потеплизм?
Не знаю. Они известны кодом, а не словоблудием. И то, что они запрыгнули в разработку нейросетей, особо забавно, учитывая местные дилетантские разговоры про "неэффективный питон" (как будто не ясно, что питон – лучший язык для *прототипирования*).

> От софта ждут подерживаемую жизнь проекта, адаптацию, помощь, волшебную красивую кнопку опять же

Окей. Представь, что нейросеть пишет тебе по запросу не сниппет кода, а большой проект на 500к строк. И он компилируется и работает.
Что дальше? Вот ты великодушно, по-барски сказал "окей, вау".
Теперь можешь задуматься о том, какие работы остаются людям?
Интеллект – это в том числе способность просчитывать последствия. Этим условием ты оставляешь себе ровно одно вау перед тем, как встать к стенке.

> Some neural networks is named like UL2-20B. What the "20B" part mean?

Are named, what does mean. Но ладно. Я спросил ChatGPT, она осмысленно написала мне ряд гипотез, начав c верной. Попроси у знакомого хохла логин, если хочешь скрины.

Для меня это достаточно вау. Особенно учитывая, что в её тренинге не было ничего про UL2-20B.

>>1529
> Уровень говорилок типа хуяндексной Алисы и штамповки типовых картинок вроде новогодних сувениров из КНР.
Некоторые люди гордятся своей способностью не различать нюансы и смешением всего содержимого своей головы в единый поток дерьма. Вероятно, им кажется, что они сияют на этом фоне.

>>1547
Любопытно, что кальсон интуитивно шпарит по методичке Алинского:
https://www.openculture.com/2017/02/13-rules-for-radicals.html
> Ну что, батенька, где скачать полные сорцы ChatGPT и исходные датасеты? Или вы таки опять напустили себе в штаны?
> 2. “Never go outside the expertise of your people.” It results in confusion, fear and retreat. Feeling secure adds to the backbone of anyone.
> 3. “Whenever possible, go outside the expertise of the enemy.” Look for ways to increase insecurity, anxiety and uncertainty.
> 4. “Make the enemy live up to its own book of rules.” If the rule is that every letter gets a reply, send 30,000 letters. You can kill them with this because no one can possibly obey all of their own rules.
> 5. “Ridicule is man’s most potent weapon.” There is no defense. It’s irrational. It’s infuriating. It also works as a key pressure point to force the enemy into concessions.
> 13. “Pick the target, freeze it, personalize it, and polarize it.” Cut off the support network and isolate the target from sympathy. Go after people and not institutions; people hurt faster than institutions.

Есть несколько моделей 100b-класса в свободном доступе, и с прошлой недели даже 175b-модель с instruct-тюнингом.

Машинное обучение более воспроизводимо и открыто, чем академическая наука.

А статья-то вышла, кальсон, и раз ты готов был ставить деньги, что она не выйдет – это никак не перетолковать. Ты обосрался с попыткой показать владение темой и способность оценивать публикации. Я обосрался с тем, что не стряс с тебя баблецо и не унизил публично. Охотно признаю это несовершенство. У всех свои недостатки.

>>1575
Нет, думаю ни одна сеть из показанных на сегодня этого не может. То есть, она может с некоторой вероятностью дать верный ответ, но не выполнить эту детективную работу. Ума у PaLM или грядущего GPT-4 для этого скорее всего хватит, но нужны инструменты для работы с контекстом. Возможно, что-то вроде ACT-1, но с языковым бекендом уровня PaLM и внешней лентой или memorizing transformer сможет выполнить это задание.

>>1576
> Нужен не "искусственный интеллект", решающий сверхзадачи - а люди, умеющие делить в столбик
Розов как всегда позорно сливается, не утруждая себя аргументацией.
Про Тао слышали все, кто хоть немного интересуется наукой и математикой, это не просто потешный азиат с высоким IQ, и даже не просто лауреат премии Филдса, а человек, к которому обращаются за советами другие люди уровня премии Филдса, потому что он имеет непревзойдённую широту знаний в этом поколении. Почти всё, что он делает – это помощь в доведении сложнейших исследовательских программ до решения. Наверное, если бы эти математики лучше умели делить в столбик, он бы им не понадобился, но имеем что имеем.

Но важно даже не это. Похуй на отдельного, уникального Тао. В отличие от него, искусственный интеллект масштабируется, мы могли бы запустить тысячи и миллионы сессий инференса. И есть огромный массив свидетельств тому, что более умные люди полезнее для экономики и науки, чем более глупые люди; на больших выборках различия всего в несколько пунктов среднего IQ (или несколько процентилей другой валидной метрики когнитивных способностей) значимы, и закономерность сохраняется выше 99 процентиля.
Умному этой информации достаточно. Идиот предпочтёт обсудить, сколько обывателей, не умеющих делить в столбик, знают Тао.

К слову о масштабировании. Показано, что можно с небольшими потерями точности сжимать нейросети до 4 бит на параметр. Это значит, что тот же ChatGPT влезет в 87 гигабайт – его можно было бы запустить на четырёх 3090-х.
На системе за 600к рублей.

Помнится, не так давно, на почившем доброчане, какой-то надутый фуфел обсуждал сервера за миллионы денех для генерации кошкодевочек в Stable Diffusion. Надеюсь, мы это проехали.

>>2093
Ну вот у вас, Кальсоненко, с логикой и правда полный порядок, это заметно, вы крайне увёртливы. Например, вы цитируете смехотворный паралогичный бред Розова ("Давайте представим, что сильный ИИ это то же самое, что умный человек... ну вот Тао очень вумный... а кто знает того Тао, ась? Пьюдипая все знают, Перельмана вон все знают благодаря мемам, а Тао только задроты какиета... следовательно ИИ ни на что не повлияет, а что повлияет?... умение делить в столбик!) – но как бы не одобряете, не подписываетесь под этим, а просто приводите, как пищу для ума. Да и как бы не вы цитируете, а ваш всегда прячущийся в кусты загадочный брат-близнец (правда, запашок выдаёт).

И сейчас тоже: вы кривляетесь насчёт нелогичности выдуманной вами логической цепочки ("раз Гауэрс упомянул, то выстраиваются"), но как бы *не утверждаете*, что другие лауреаты или другие уважаемые математики не упоминали Тао; что Гауэрс просто "упомянул", а не дал вполне определённую характеристику способностям и вкладу Тао в математику (сравнив его с *Гильбертом*, of all people); что не согласны с Гауэрсом (хотя кому, право слово, было бы дело до вашей оценки); что Тао не является ключевым соавтором в десятках важных работ; что таки не выстраиваются.

А если только кривляться и ничего конкретного не утверждать – то и спроса с вам нет, и можно претендовать на безупречную логичность.

Логично? Логично!

Но совершенно бесплодно и убого. Что в целом характеризует ваш подход. Неудивительно, что вам так импонирует зашедшее в тупик логическое программирование, которое и близко не подошло к плодотворности нейросетевой парадигмы.

Материалы и мыслишки.

1) Неотцензуренная GPT судя по намёкам может чуть больше и интереснее. Но насколько? "Тупость" ChatGPT от "RLHF фазы"?

2) https://habr.com/ru/post/709472/
https://www.lesswrong.com/posts/uHyZmfZKpXxo6uiEe/ai-psychology-should-ground-the-theories-of-ai-consciousness
https://www.lesswrong.com/posts/yGaw4NqRha8hgx5ny/the-case-for-becoming-a-black-box-investigator-of-language
https://www.lesswrong.com/posts/LbrPTJ4fmABEdEnLf/200-concrete-open-problems-in-mechanistic-interpretability
https://www.lesswrong.com/posts/ddR8dExcEFJKJtWvR/how-evolutionary-lineages-of-llms-can-plan-their-own-future
https://www.lesswrong.com/posts/oSPhmfnMGgGrpe7ib/properties-of-current-ais-and-some-predictions-of-the
https://www.lesswrong.com/posts/yRAo2KEGWenKYZG9K/discovering-language-model-behaviors-with-model-written
https://www.lesswrong.com/posts/vJFdjigzmcXMhNTsx/simulators
https://www.lesswrong.com/posts/yRAo2KEGWenKYZG9K/discovering-language-model-behaviors-with-model-written
https://www.lesswrong.com/posts/rxoBY9CMkqDsHt25t/eliciting-latent-knowledge-elk-distillation-summary

Статья от "ИИ-психолога" лессвронговца. Там больше интересен типичный спор "это всего лишь программа и математика" в комментариях, в котором он внезапно демонстрирует "жидошизовую" позицию: "да вы человеки такие же".

3) "ИИ-психолог" утверждает, что у GPT есть концепция Я и нестабильное, но самоосознание.

4) Всё это "нейросети как люди, а люди как нейросети" мне только напоминает тех кадров, которые умудрялись до этого сравнивать работу мозга с фон-неймановским PC. А с чем там древние греки сравнивали это же? Как появляется какая-то техническая вещь, люди начинают говорить что вот оно, наше сознание совершенно точно работает как эта вещь! А ещё раньше мы работали на "частичке бога", ага.
Так и аниме-персонажи живые и обладают "концепцией я".

Предположение доброго доктора Кальсона про индусов не то чтобы далеко от реальности оказалось, правда немного в другой плоскости.

Такая же херня с Roomba.

В ожидании ОПа.

Ну что, прошло чуть больше месяца. Я так понял, что можно не тратить время на кальсонерию – результаты говорят сами за себя.

Напомните, что там было по критериям настоящего интелехта. Может послать нахуй, когда дают нитот запрос? Человекоподобно реагирует на абсурд? Не путается в арифметике? Может выполнить исследование литературы на заданную тему?

А ведь это только GPT-4. GPT-5 уже обучается на нескольких десятках тысяч GPU.

>>2938
Не взлетит. Backprop работает мгновенно, FF – просто интеллектуальное упражнение. А жаль, красивая штука.

>>2954
Latent knowledge интересная тема, но тоже довольно безнадёжная. Вот лучшая статья https://arxiv.org/abs/2212.03827

> Как появляется какая-то техническая вещь, люди начинают говорить что вот оно, наше сознание совершенно точно работает как эта вещь!

Ты ведёшься на ложь научпоперов. Все эти метафоры понимались именно как метафоры, никто не разрабатывал детальную теорию о гидравлических репрезентациях понятий в мозгу или о эксплицитных вычислительных цепях, сколько-нибудь серьёзно аналогии стали использоваться после когнитивной революции, и действительно в мозгу есть (ограниченная) модульность. Нейросети же основаны на коннекционизме, который доказан железобетонно. Но, конечно, вопрос не в том, насколько они похожи архитектурно – вопрос в том, могут ли нейросети являться субстратом для аппроксимации всех интересных и трудноопределимых функций для работы с произвольной информацией, которые мы объединяем понятием "общий интеллект" – pattern recognition, learning, meta-learning, transfer learning, exploration, goal-directed behavior, abstract reasoning, common sense reasoning, symbol manipulation и дальше как кому угодно это разбивать на академические поддомены. Похоже, что могут и не очень-то напрягаясь.

Предпосылка всех метафор состоит в том, что мозг/сознание работает *как-то* механистично, и это необходимо следует из нашего материализма. Единственные оговорки тут могут быть насчёт пенроузовского quantum woo, которое даёт некоторым повод считать, что наш общий интеллект не может быть вычислим на классических компьютерах и таким образом недоступен нейросетям (или любой другой AI-парадигме, которая использует классические компьютеры). Но пенроузовщина беспруфна.

>>3035
> не то чтобы далеко от реальности оказалось, правда немного в другой плоскости.

В достаточно многомерном пространстве шизоассоциаций вообще всё недалеко друг от друга, просто в немного разных плоскостях. За счёт этого, кстати, и нейросети легко находят аппроксимации. Разница в том, что у них объективная функция осмысленная, а кальсон просто максимизирует наполнение своих порток навозом.
Ты правда не различаешь обучение с учителем, когда нейросети в оффлайне дают примеры, из которых она обобщает принцип для *похожих, но других* задач в онлайне, и буквального ремоут-индуса с джойстиком, который управляет роботом?

>>3043
C русским всё плохо.

>>3044
Любопытно, как stable diffusion раскрыли ControlNet-ами, promptPix2Pix и другими костылями. Оказывается, модели больше не очень-то и нужны.

>>3103
> применим для уничтожения низших рас и жидов, как ты любишь
Не люблю.

Как именно ты собираешься токенизировать действия?
Но вообще это похоже на GATO и проект Кармака. Поброди по дискордам и более обскурным бордам, тут не вижу смысла указывать, где этим занимаются.

>>3202>>3203
Whisper показал, что голосовые нейронки хорошо обобщают. Даже слишком хорошо – если дать ей текст на английском, но случайно оставить в настройках русский, то она *распознает что-то близкое и по смыслу, и по последовательности звуков*, это очень странно выглядит. Тут, думаю, принцип похож, но и в общем датасете, и у конкретного спикера очевидно не было достаточно русских сэмплов - поэтому распарсить кириллицу оно может, а фонемы использует англоязычные.

>>3232
Теперь так
https://cprimozic.net/blog/reverse-engineering-a-small-neural-network/

Прогресс.

>>3471
Больше гениальности и быстрого прогресса индусского народа меня поражает только их трагичная нищета. 12 центов за 1000 токенов – это хуже любой копирайт-помойки, а на тебе, и неплохой рэпчик за секунды генерируют, и код пишут, и картинки на любом языке распознают. Как представишь себе трудолюбивых индусов, вдесятером на одной клавиатуре хуярящих, и слеза наворачивается.

Знаешь кальсон, тут вышла GPT4All, это версия натюненной на GPT-генерациях лламы-7B. Она весит 4.21 Гб, выдаёт по 15 токенов в секунду на моём ноуте и сравнима с тобой по интеллекту. Я думаю, что просто поручу ей отвечать на твою агонию.

>>3472
Ещё один шиз не выдержал перегрузок.

Тем временем куча разных скотов (включая Маркуса, ещё вчера отрицавшего наличие интеллекта у GPT) призывают к мораторию на тренинг сильных моделей, Юдковский в Time требует бомбить GPU-кластеры, Google Brain и Deepmind объединяются для разработки своего конкурента GPT-Pajeet.

Не на что тут смотреть! Просто сектантские баззворды и тягучие ароматы.

We are so fucked.