花弁

Теггирование локально хранимых картинок Доброкодер 01 September 2009 (Tue) 15:20 No.701

File: flickr_tags.png
Png, 76.10 KB, 501×310 - Click the image to expand

/s/, есть ли у тебя мысли, как это кошерно реализовать?
Задача: есть овер 9000 картинок, надо им проставить теги и иметь возможность делать выборки по ним. Требуется как можно более простой интерфейс, без всяких монструозных пикас.

Пока идея такая, храним картинки as is, в sqlite базу записываем пути, там же храним теги и соответствие картинка-тег.
Непонятно, как делать выборки по тегам. Гуй не хочется, веб слишком костыльно. Можно сделать консольный скрипт конечно, но как отображать результат?
Пока собственно вариантов два, таки веб или консольный скрипт, который в tmp/${tags}/ сгенерит симлинки на файлы нужных картинок, и потом откроет дефолтный просмотрщик в той папке.
Или все же пилить гуй?
Есть еще конечно TagFS/Tagsistant, но вендобляди тогда сосут хуйцы, а хотелось бы что-нибудь кроссплатформенное.

Доброкодер 01 September 2009 (Tue) 16:29 No.702

Попробуй вот это: http://d.hatena.ne.jp/qha/20090626/1246042409

Метод установки (インストール方法)
1. Установить Dokan

Отсюда(http://dokan-dev.net/download/)скачайте и установите Dokan. Рекомендую 0.4.2.1238 x86.

2. Установить TagFS

Отсюда(http://matrix.s18.xrea.com/post/TagFS_0.1.0.zip) скачайте TagFS.zip и распакуйте в соответствующий каталог.

>>	Доброкодер 02 September 2009 (Wed) 09:56 No.705 >>701 Фотоальбом Windows Live уже умеет всё, что тебе нужно :3

Доброкодер 03 September 2009 (Thu) 01:38 No.707

> Пока идея такая, храним картинки as is, в sqlite базу записываем пути, там же храним теги и соответствие картинка-тег.

Валим всё в одну директорию, каждый файл переименовываем в его хеш. Если фс не переварит миллион файлов в одном месте, то разбросать по первым полубайтам хеша. В базу можно писать еще и url источника, хоть они и дохнут в интернете.

Гуй нужен, потому что хочется автодополнение тегов, реалтайм обновление результатов выборки и прочие атрибуты приличного общества.

TagFS мне не понравился, слишком много внимания обратной совместимости с костылями парадигмы "фс = дерево" в ущерб логике и удобству.

Если сделаешь - делись.

>>	Доброкодер 05 September 2009 (Sat) 02:01 No.708 >>707 Если будет время, запилю для этого версию своей универсальной кроссплатформенной иерархической БД. Давно собирался, ибо картинок на винте уже давно овер 9,000,000 (да, да, полный архив danbooru после её выпила)

>>	Доброкодер 05 September 2009 (Sat) 22:13 No.709 >>708 > полный архив danbooru после её выпила непонел http://danbooru.donmai.us/post/index?tags=pussy

Доброкодер 15 September 2009 (Tue) 22:41 No.765

>>705

> Фотоальбом Windows Live уже умеет всё, что тебе нужно

1) Windows, т.е. на моем линупсе не работает.
2) Там нет нормального апи, дабы я мог написать автоматизацию теггирования.
>>707

> Если сделаешь - делись.

Облизательно.

> Валим всё в одну директорию

Проблема в том, что иногда хочется тупо список картинок с нужными тегами. Без уёбищных гуев и сложностей. Иногда хочется такой список получить автоматически, из другого приложения. Т.е. надо каким-то тривиальным образом реализовать доступ к выборкам. Хотя можно просто в стдаут кидать список файлов

Доброкодер 25 September 2009 (Fri) 16:44 No.804

Симлинки, тысячи их. Хотя зачем вообще нужно локальное теггирование архива данбуры и подобной мути?
Несколько тысяч избранных уберхайрезов, любимых обоев, красивых панорам и подобного вполне можно распределить по полусотне папок-тегов с редкими симлинками.

>>	Доброкодер 01 October 2009 (Thu) 05:38 No.811 >>804 > вполне можно распределить по полусотне папок-тегов с редкими симлинками Сколько ни пытался это сделать, нормального распределения не добился. Нужны теги.

Доброкодер 01 October 2009 (Thu) 15:51 No.813

File: 125244472178950.jpg
Jpg, 779.86 KB, 1500×1061 - Click the image to expand

> Несколько тысяч избранных уберхайрезов, любимых обоев, красивых панорам и подобного вполне можно распределить по полусотне папок-тегов с редкими симлинками.

доброчую, у себя под win7 так и сделал
(в редких случаях, когда названий папок недостаточно, можно использовать поиск по названиям файлов прямо из проводника (ветка с картинками прохеширована для ускорения поиска))
Энжой йоур Линэкс.

алсо, поставил Фотоальбом Windows Live только ради скринсейвера с красивым слайдшоу из этих самых картинок

>>	Доброкодер 01 October 2009 (Thu) 16:06 No.814 File: 1254397301231.png Png, 12.30 KB, 302×350 - Click the image to expand >>813 Кто здесь?

Доброкодер 02 October 2009 (Fri) 05:55 No.815

>>813

> Энжой йоур Линэкс.

Какой ты толстенький. Поиск и в линупсе есть.
Но названия это не то. У нормально теггированной картинки на гельбору/данбору овер 20 тегов. Все 20 в название пихать это пиздец. 20 отдельных папок, образующих сложную иерархию, с симлинками, это еще больший пиздец.
К тому же это должно работать быстро на больших объемах картинок и тегов.

Доброкодер 02 October 2009 (Fri) 16:35 No.817

>>815
И всё же зачем в личной коллекции картинок делать по овер 20 тегов к каждой?
Ты хочешь руками проставить теги для своих дампов данбуры, коначана, моэ-имоуто, минитокио, анимепейпера и 4скрейпа чтоль?
>>813

> доброчую, у себя под win7 так и сделал

Что, прямо так, с редкими симлинками?
Энжойинг май Линэкс.

Доброкодер 03 October 2009 (Sat) 04:38 No.818

>>817

> руками проставить теги

Зойчем? У меня есть скрипт, который картинки вместе с тегами сохраняет. Есть база соответствий между картинками на данбуре, пиксиве и гельбуре, для синхронизации тегов между ними. Вопрос в том, как организовать локальное хранилище без веб-морды или гуя.

>>	Доброкодер 15 October 2009 (Thu) 19:31 No.909 >>818 слыш пацанчик, дай скрипт погонять, сервер свой. с:полному радиусе намекает на сферическую вакуумность

>>	Доброкодер 17 October 2009 (Sat) 00:06 No.928 File: 1250614423182.jpg Jpg, 51.19 KB, 1123×614 - Click the image to expand

>>	Доброкодер 10 January 2010 (Sun) 12:08 No.1497 В связи с интересом к вопросу со стороны /b/, бамп. Свою реализацию пока не допилил, ибо небыло времени.

>>	Доброкодер 10 January 2010 (Sun) 12:11 No.1498 File: 1214513403740.jpg Jpg, 41.55 KB, 450×600 - Click the image to expand >>1497 > небыло

>>	Доброкодер 10 January 2010 (Sun) 12:12 No.1499 >>1498 Да-да, меня об этом уведомил еще ФФшный спеллчекер при вводе.

>>	Доброкодер 10 January 2010 (Sun) 13:19 No.1500 >>1499 Сопротивляешься системе? ^_^

>>	Доброкодер 10 January 2010 (Sun) 13:20 No.1501 >>1500 Нет, просто было лень исправлять.

Доброкодер 10 January 2010 (Sun) 15:16 No.1502

File: 15b771a8e630c374c6fc4347edac2789.jpg
Jpg, 75.61 KB, 480×940 - Click the image to expand

Удачно я зашел. Мне как раз тоже нужен менеджер картинок. Почему не хочешь гуй, оп? Может всё-таки на Qt попробовать? Сейчас на нем делаю себе TODO/Time Tracker, правда почти ничего еще не сделал.

>>	Доброкодер 10 January 2010 (Sun) 15:18 No.1503 >>1502 Ну разве что отдельно. Так как я на питоне пишу, приделать отдельным модулем гуй будет не проблема.

Доброкодер 11 January 2010 (Mon) 11:08 No.1508

Бамп! Привет /s/. Я к вам из /b/ заглянул. Вообщем во всем уже в принципе разобрался-определился. Остался только такой момент - Вы тут(и там) советуете этот WLive. Есть еще что-нибудь подобное, но от стороннего производителя? У меня к мелкомягким как-то нет доверия.Да, я параноик. Мне кажеться что эта фигня спалит мой пиратский виндовс и будет отсылать им информацию от том какие пикчи у меня храняться. Воощем хотелось бы чтобы прога работала автономно, без выхода в сеть.

Доброкодер 11 January 2010 (Mon) 12:57 No.1509

>>1508

> У меня к мелкомягким как-то нет доверия.

В таком случае тебе прежде всего нужно отказаться от МС Окна и поставить себе линекс. Ты ведь не думаешь, что Фотоальбом Windows Live следит за тобой, а МС Окна - нет? Ты под колпаком, парень. Только Свободные люди™ смогут спасти тебя и твою коллекцию детского порно.

>>	Доброкодер 11 January 2010 (Mon) 13:52 No.1510 >>818 люто хотеть такой скрипт! алсо 4скрейп вроде загнулся.

>>	Доброкодер 11 January 2010 (Mon) 13:56 No.1511 >>1509 Я вот имею линупс, но проблем с тегами он не решает. Все приходится самому писать. ОП >>1510 Как доделаю - выложу. Правда не сам скрипт, а клиентскую часть к базе.

>>	Доброкодер 11 January 2010 (Mon) 14:49 No.1512 >>1511 Никто и не говорил, что линекс решает проблемы с тегами. У меня МС Окна и готовые приложения, у тебя - линекс и "все приходится самому писать". Ну и кому нужна такая свобода? Анальный раб майкрософта

>>	Доброкодер 11 January 2010 (Mon) 15:09 No.1513 File: nyoro~n.png Png, 13.67 KB, 66×85 - Click the image to expand >>1512 Ironical win. ОП-кун, эй, ОП-кун! А выложи куда-нибудь код, а? На github или bitbucket.

Доброкодер 15 January 2010 (Fri) 00:21 No.1557

Как раз сейчас пишу такой скрипт. Интерфейс - похоже на shell, есть история и completion по тэгам через readline. Теги можно помечать цветом и жЫрностью шрифта.

Базу храню в виде читабельного JSON-файла, заодно можно ручками подправить или загрузить из другого скрипта.

Для выборки по тэгам приходится писать код. Условия бывают довольно сложные, а изобретать свой SQL лень. Проще строчку кода написать и через eval выполнить.

Сами картинки лежат в скрытой директории, вместо имен - sha1 хеши. Сейчас думаю, как избавиться от кучи дублей в разном разрешении - хэши у них разные, а руками найти в такой помойке нереально.

Результаты показываю через imagemagick. Его display умеет рисовать на фоне чужих окон. Я создаю пустое окно из скрипта и зову system("display -window <wid> .data/<hash>") чтобы рисовать в нем картинки. Чтобы ставить тэги, этого хватает. А если хочется смотреть чем-нибудь посерьезней, можно сделать симлинки в отдельной директории.

Кода там аж строк 200. Правда, на каждый чих приходится править. Кому нужно - напишет не хуже. А у вендоблядей уже есть Windows Live, Picasa и прочие анальные радости.

> > 818
> У меня есть скрипт, который картинки вместе с тегами сохраняет. Есть база соответствий между картинками на данбуре, пиксиве и гельбуре, для синхронизации тегов между ними.

Твой скрипт все подряд гребет или по тегам выбирает? Расскажи как писал и базу соответствий делал. Надоело руками теги ставить.

Доброкодер 15 January 2010 (Fri) 13:13 No.1559

>>1557

> Интерфейс - похоже на shell

ну ты же омич.
.
вообще надо взять данбуру ящитаю и довести до ума.
нужны: мета-теги, либо просто дерево тегов, пакетная расстановка тегов поддержка списков.
.
по поводу нечетких дубликатов - в репе бубунты была какаято консольная тулза, не знаю как работает. мне охуенно в этом плане доставляет http://geeqie.sourceforge.net/.

>>	Доброкодер 16 January 2010 (Sat) 18:06 No.1563 >>1559 что-то я вообще непонел как Geeqie работает

>>	Доброкодер 16 January 2010 (Sat) 20:32 No.1564 >>1563 всмысле сорцы невкурил?

Доброкодер 16 January 2010 (Sat) 21:51 No.1565

> > Интерфейс - похоже на shell

> ну ты же омич.

Щито поделать, лучше ничего пока не придумали. У меня уже несколько скриптов в таком стиле - их удобно писать и отлаживать, все кишки наружу. Если какой команды не хватает - есть всемогущий eval. Можно призывать тулзы, набигать на окна и инклудить модули с CPAN. Я джва года хотел сделать такой скрипт, чтобы всю контент-помойку рассортировать. Не только картинки, но и музыку, аниме, мангу, книги...

> вообще надо взять данбуру ящитаю и довести до ума.
> нужны: мета-теги, либо просто дерево тегов, пакетная расстановка тегов поддержка списков.

Ее надо так допилить, что выкинуть проще. Это ж просто вики с поддержкой картинок. Деревом для тегов обойтись не получится, иначе и по папкам рассортировать можно.

Веб же неудобен для таких вещей. Захочется запоминать что последнее смотрел и где остановился, потом добавить поддержку видео, потом сделать "умные" теги вроде (breasts && !dfc && !sex && !man) и получится язык программирования с веб-интерфейсом.

> > по поводу нечетких дубликатов - в репе бубунты была какаято консольная тулза, не знаю как работает. мне охуенно в этом плане доставляет http://geeqie.sourceforge.net/.

Если консольная тулза это fdupes то она мне не поможет. geeqie - это ж бывший gqview, я им до сих пор пользуюсь. Дубли он ищет но медленно и печально, я руками найду не хуже. Хотелось бы их автоматически искать.

Появилась еще идея, что хеш можно считать не для файла, а его дампа в RAW формат вроде BMP. Нечеткие дубли это не найдет, но хотя бы различия в EXIF и прочих заголовках мешать не будут.

Доброкодер 16 January 2010 (Sat) 22:42 No.1566

>>1565

> Деревом для тегов обойтись не получится, иначе и по папкам рассортировать можно.

не, теги - это уже сильнее чем рассортировать по папкам. я же говорю что сами теги неплохо бы тоже классифицировать.

> "умные" теги

обычная хуйня же, данбора поддерживает это.

> Дубли он ищет но медленно и печально, я руками найду не хуже.

у меня geeqie вполне быстро работает.

> Появилась еще идея,

сликом очевидно, только я думаю что надо просто из файла выкидывать EXIF и прочее.
алсо чаны таки хеш от метаинфы тоже считают.

>>	Доброкодер 17 January 2010 (Sun) 06:07 No.1572 Code, anyone?

Доброкодер 17 January 2010 (Sun) 07:16 No.1573

>>1566

> не, теги - это уже сильнее чем рассортировать по папкам. я же говорю что сами теги неплохо бы тоже классифицировать.

Зачем, если есть "умные" теги? Группа - это частный случай тега. Достаточно составить удобный лично тебе набор тегов и использовать только их. На данборе помойка, одно и то же пишут десятком способов.

> сликом очевидно, только я думаю что надо просто из файла выкидывать EXIF и прочее.

Это сложно - у каждого формата заголовки свои.

А поиск дубликатов как в gqview легко сделать на основе того же дампа RGB - посчитать процент содержания всех цветов и сравнивать. Проверка новых картинок линейно зависит от размера коллекции (если в ней уже нет дублей). Можно и быстрее сделать если помучиться. Только сам алгоритм тупой.

> алсо чаны таки хеш от метаинфы тоже считают.

Чанам пофиг на дубли, могут и без хешей обойтись. Доброчан вроде бы не считает.

>>	Доброкодер 17 January 2010 (Sun) 07:34 No.1574 >>1573 > Доброчан вроде бы не считает У нас используется sha128 от растра, чтобы файлы в разных форматах с одинаковым растром детектировать.