Принцип работы сайта заключается в следующем: Мы подключаемся к 30-50 партнёрским магазинам при помощи предоставленных фидов в виде CSV или XML файлов. В результате этого у нас появляется доступ к выгрузкам большого количества товаров (200 – 400 тыс.). Каждый фид имеет свою структуру и свои особенности категоризации продуктов в нём. Затем нам нужно обработать полученные данные: 1. Загрузить предоставленную информацию из фидов 2. Произвести категоризацию согласно нашей системе категорий и подкатегорий 3. Сортировать полученную информацию согласно нашей структуре (предоставленную информацию о размерах, цветах и прочих особенностях товаров нужно будет отсортировать таким образом, чтобы она вписывалась в нашу структуру) 4. Обработать фотографии товаров согласно нашим требованиям 5. Удалить возможные дубли товаров (когда один и тот же продукт предоставлен несколькими магазинами или даже в одном магазине в разных категориях) 6. Загрузить обработанные данные на наш сервер в нашу Базу Данных 7. Отобразить импортированную и обработанную информацию на нашем сайте. 8. Наладить безупречную работу поиска товаров по сайту (настройка работоспособности фильтров и функции поиска) --------------- От вас ожидаем: 1. Опыт работы с нетривиальными задачами 2. Наличие портфолио очень желательно! 3. Профессионализм и соблюдение оговоренных сроков Подробное техническое задание вышлем после знакомства с вами. Готовы хорошо платить за хорошую работу. Заинтересовавшимся просим оставить свою заявку на aderjabkin@mail.ru
Да, есть такая задумка обрабатывать данные на локальной машине и загружать на веб-сервер. В общем, нужен толковый разработчик.
Корзины и прочих страниц с процессом нет. Сайт-витрина представляет собой лишь большую базу с товарами. Пользователь выбирает нужный товар и отправляется за покупкой на сайт соответствующего магазина, который имеет в наличие данный товар.
Совершено верно. Сайт который делаем - типичный агрегатор. Нужно сделать парсер фидов и наладить его работу вместе с движком/фреймворком. Вёрстка уже имеется, так что эта часть уже есть.
Решал такие задачки для своих сайтов на WP/WooCommerce с плагинами для импорта и своими скриптами для его коррекции. С фидом в 20000 позиций синхронизация становилась реальной проблемой, бо арендуемые VPS выдавали 100% загруженности и более суток на пережёвывание, в некоторых вариантах с письмами от любящей техподдержки.
Тут для сглаживания нагрузок напрашиваются очереди, типа RabbitMQ - воркеры обработки фидов, воркеры для обработчиков категоризации, планировщик для всего этого добра. Или вы хотели, чтобы это всё пахало по клику, да ещё с параллельно работающей витриной онлайн?, да на впске от DO за 5$ ? Хотя я могу сгущать краски, ведь можно по крону в 12 ночи делать всю тяжёлую работу
Страна большая где-то уже и еще не ночь На локальном сервере с шустрой бд организовать парсер, такой объем переварить около 2х часов, выгрузить бд как на сервере, залить бд на сервер и подменить базу за секунду, таким образом сайт будет работоспособен на 100%
Дмитрий Н, мои VPS за сотку тянут Но всё равно мощщей недостаточно. И не очень понятно, как всё это по крону ночами тянуть, ежели оно нонстопом на сервере без нагрузки фигачит более суток. Эдак можно месяц импорт делать. И потом сразу новый, для актуальности .
E13, не, я абстрактно в контексте темы и твоих размышлений ляпнул, на личности не переходя ---------- Сообщение добавлено 08.12.2015 19:30 ---------- muhon, а если планировать стратегически, смотря в будущее, где возможна вероятность развития сервиса, то лучше уж сразу архитектуру продумывать, ИМХО
Дмитрий Н, окай Но задачка действительно непростая. Я так хотел наклепать штук двадцать витрин, просто на посмотреть, что получится. Тем более что с технической стороны все вопросы решены были - платформа есть, довольно мощный инструмент для импорта в платформу тоже был, и кое-где даже можно было полностью автоматизировать процесс загрузки контента через тот же крон. Оставалось только синхронизировать базу товаров и развивать ресурсы в плане посещаемости. Но вначале запнулся на синхронизации, потом на резком падении посещаемости (уникального контента не было - импорт же). Сейчас часть ресурсов перепрофилировал или поддерживаю для лулзов, часть просто отправил на отстой.
Что касается нагрузки на веб-сервер - это основная проблема. Поэтому нужно запараллелить некоторые процессы и правильно всё организовать. Есть желающие качественно сделать это за деньги? ---------- Сообщение добавлено 08.12.2015 23:58 ---------- Можете показать примеры ваших рабочих витрин?
Не думаю что все настолько плохо. К примеру 200000 товарных позиций если обрабатывать по крону каждую минуту и обновлять информацию раз в сутки это 200000/24/60 = 139 в минуту. Достаточно подобрать сервер который справится с обработкой, к тому же саму витрину можно разместить отдельно. Мое мнение весь вопрос в цене за хостинг. Ясно дело на виртуальном хостинге от джино за 150 руб это работать не будет, но я думаю ТС это сам понимает. Другой вопрос какой толк от такой витрины контент не уникальный, как клиентов привлекать.