Справка - Поиск - Участники - Войти - Регистрация
Полная версия: Cайт госзакупок
Частный клуб Алекса Экслера > Программирование
Kapitoshka
29 февраля 2016, 05:45
Есть сайт государственных закупок https://v3bl.goszakup.gov.kz
Объявления/лоты на этом сайте делятся на 3 категории
1) А
2) Б
3) В

Задача-минимум
Получить номера объявлений/лотов типа Б за определенную дату и на определенную тему. Необходимо еще наименование объявления/лота. Экспорт в Excel.

Какой есть нормальный специализированный форум, куда можно обратиться с просьбой решить эту задачу?

mrFatCat
29 февраля 2016, 12:09
http://phpforum.su/index.php?showforum=112

Обычная задача на парсинг. Цена и сроки зависят от способа сборки страницы. По ссылке у меня не открывается, поэтому не могу оценить сложность. Может быть, в Израиль не отдают контент, или открывается только авторизованным...
Kapitoshka
2 марта 2016, 19:15

mrFatCat написал: http://phpforum.su/index.php?showforum=112 По ссылке у меня не открывается, поэтому не могу оценить сложность. Может быть, в Израиль не отдают контент, или открывается только авторизованным...

Может быть из-за сертификатов? Здесь есть НУЦ(RSA) или НУЦ (GOST). Любой подойдет.
Национальный удостоверяющий центр
mrFatCat
3 марта 2016, 01:05

Kapitoshka написала: Может быть из-за сертификатов?

Думаю, по причине моего израильского айпишника.
Kapitoshka
10 марта 2016, 05:54

mrFatCat написал: Обычная задача на парсинг

Из-за обычной задачи на парсинг предлагают поставить линукс. Зачем?
alibek
10 марта 2016, 09:45
Низачем.
Предлагают поставить линукс? Или предлагают использовать инструменты, которые в линуксе встроенные?
Lao
10 марта 2016, 15:01
вот совсем простой вариант (расширение хрома): https://chrome.google.com/webstore/detail/w...liplmbmhn?hl=en


вот это можно гуглить: "scrape web page"


вот тут можно спросить, если вообще самому ничего не хочется делать:
http://scrapy.org/community/

(там ссылка на IRC канал скраперов).

Kapitoshka
24 мая 2016, 18:09
Выставлялись на конкурс. Я переживаю, что могла ошибиться с вводом суммы предложения. Сайт госзакупок окончательные цифры предложения в личном кабинете не сохраняет. Я думала, что посмотрю потом страницу в автономном режиме с ценой, а вместо нее отображается первая страница конкурсной заявки.
Помогите узнать нашу цену!
Могу предоставить доступ к компьютеру по TeamViewer.
Про оплату в личке.
tea-connoisseur
14 июня 2016, 11:03
Linux совсем не обязателен, просто задача предполагает использование командной строки, а она в Linux-е удобнее, чем в Windows.

По задаче - это делается любым вменяемым скриптовым языком с поддержкой парсинга DOM, ну или на худой конец regex. Экспрт в Excel тоже не проблема. Сертификат по ссылке действительно подписан не доверенным CA, но это без проблем обходится.

Я могу вам сделать скрипт на языке Python - будет работать на любой ОС через командную строку, но нужно будет самому поставить Python и некоторый библиотеки. Как вариант могу также сделать как web-страницу, тогда ставить ничего не надо. Пишите в личку если интересно.
lfehty2005
3 февраля 2017, 21:55

tea-connoisseur написал: Linux совсем не обязателен, просто задача предполагает использование командной строки, а она в Linux-е удобнее, чем в Windows.

По задаче - это делается любым вменяемым скриптовым языком с поддержкой парсинга DOM, ну или на худой конец regex. Экспрт в Excel тоже не проблема. Сертификат по ссылке действительно подписан не доверенным CA, но это без проблем обходится.

Я могу вам сделать скрипт на языке Python - будет работать на любой ОС через командную строку, но нужно будет самому поставить Python и некоторый библиотеки. Как вариант могу также сделать как web-страницу, тогда ставить ничего не надо. Пишите в личку если интересно.

Добрый день, напишите свои контакты, заинтересован в данном функционале.
lfehty2005
3 февраля 2017, 21:55
мои контакты 6207000@gmail.com
Эта версия форума - с пониженной функциональностью. Для просмотра полной версии со всеми функциями, форматированием, картинками и т. п. нажмите сюда.
Invision Power Board © 2001-2017 Invision Power Services, Inc.
модификация - Яро & Серёга
Хостинг от «Зенон»Сервера компании «ETegro»