Документация по данным Argus

Документация по данным Argus

Argus предоставляет подписчикам следующие документы в формате CSV:

  • latestCodes.csv: перечень всех изданий, публикуемых или опубликованных Argus, с указанием их характеристик таких как периодичность публикации, время выпуска, единицы измерения и т.д. Данный код является базовым параметром котировки и не включает информацию о типах котировок, рассчитываемых для того или иного товара, времени их расчета и т.д.
  • latestModules.csv: перечень публикуемых модулей, включающий их описание, краткие наименования и местонахождение.
  • latestPricetype.csv: перечень параметров, обозначающих тип опубликованной цены, например, Максимум, Минимум, Среднее и т.д. Также может называться PriceType или PT.
  • latestTimestamp.csv: перечень временных промежутков, в которые Argus публикует свои котировки. Также может называться TimeStamp или TS.
  • latestQuotes.csv:перечень всех комбинаций Code-TS-PT-CFWD (CFWD = непрерывные последующие периоды – пояснения приведены ниже), когда-либо рассчитанных Argus, с указанием дат начала и окончания периода расчета, а также других параметров. В сочетании с датой такая комбинация представляет собой уникальный индикатор времени получения данных.
  • latestModuleDetails.csv: описание содержания каждого модуля в формате комбинации Code-TS-PT-CFWD (обратите внимание, что имеется возможность включить в один модуль данные за день и за неделю, за неделю и за месяц и т.д., поэтому не во всех файлах CSV содержатся значения котировок только на момент публикации).
  • latestCategory.csv: перечень всех кодов со ссылками на соответствующие категории в виде древовидной структуры.
  • latestDoc.csv: объединенный перечень всех вышеуказанных документов в расшифрованном формате.
  • latestUnits.csv: перечень единиц измерения и валют.
  • latestRVP_Code_reference.csv: данный файл предназначен специально для издания Argus US Products. В нем отображается соотношение между сериями цен и сериями RVP.

Связи между таблицами показаны здесь

В файле latestDoc.csv указаны сведения о файлах и папках, хранящихся на сервере FTP. Например, вы можете найти индекс цен на уголь API 2 (см. 2-ую строку в приведенном ниже файле) в папке "DAMCOAL" (см. столбец C) и в файле, имя которого содержит "dcm" (см. столбец D и правилаприсвоения имен файлам, изложенные ниже).

Все данные, публикуемые в рамках одной группы данных, содержатся в одном файле. В вышеуказанном файле также указана периодичность публикации каждого элемента данных (см. столбец V).

В файле latestModules.csv содержатся сведения о времени публикации каждого файла. Обратите внимание, что все значения времени приведены по всемирному скоординированному времени (UTC).

Ниже приводятся правила присвоения имен файлам (где FFF – имя файла в столбце D файла latestDoc.csv):

Формат имени файла Пример  Пояснения к методике присвоения имен файлам и содержимое файлов 
latestFFF.csv latestdcm.csv  

В этом файле чаще всего публикуются самые последние данные.

Обратите внимание, что в тех редких случаях, когда требуется внесение исправлений в данные за предыдущие периоды либо публикация отсутствующих данных, такие данные включаются в этот файл и помечаются как исправление (см. определение столбца "Статус записи").

Таким образом происходит обновление имеющихся данных в вашем архиве или добавление в него новых данных.

Кроме того, обратите внимание, что если необходимость в исправлении данных возникает до конца рабочего дня, мы публикуем исправление в этом файле и затем повторно в новом файле, который генерируется в течение следующего рабочего дня. Таким образом, с задержкой в один день получают исправление только те клиенты, которые читают данный файл ежедневно.
previousFFF.csv previousdcm.csv

При публикации цен за текущий день данные за предыдущий день переносятся в этот файл.

yyyymmddFFF.csv 20130909dcm.csv

При публикации цен за текущий день данные за предыдущий день копируются в новый файл, в имени которого указана дата публикации данных.

Обычно таким образом сохраняются файлы примерно за 10 рабочих дней – для ежедневных изданий, за 5 – для еженедельных и за 2 – для ежемесячных. 

IНа скриншоте ниже показан образец папки DAMCOAL после публикации 9 сентября 2013 г. Эта копия данных хранится на сервере FTP, который находится в зоне восточного стандартного времени (EST), поэтому значения времени отстают на 5 часов от британского времени. Поскольку Argus владеет серверами FTP в различных временных поясах, во избежание разночтений рекомендуем использовать команду MDTM FTP сервера, описанную в  RFC-3659.

В папке DAMCOAL находятся два файла: файл "dcm", который содержит ежедневные и еженедельные публикуемые котировки (например, API2), и файл "dcm2", который содержит еженедельные и ежемесячные котировки, поэтому данные в этой папке обновляются раз в неделю (в приведенном примере – по пятницам).y.

CSV table Argus Media

DATA CSV file format

В файлах формата CSV содержится значительно больше информации, чем только название, дата, значение и время публикации каждой котировки. Дополнительная информация включает период и базис расчета котировки. Например, индекс Argus Североморский датированный рассчитывается на последующий месяц отгрузок в Северном море, поэтому в файле CSV указывается месяц, для которого осуществляется расчет. Некоторые серии данных являются форвардными ценами, которые в то же время основываются на другой серии цен – в этом случае в файле CSV указывается информация о времени определения всех этих цен.

Кроме того, в вышеприведенном примере все месяцы отгрузок в Северном море (в настоящее время существуют четыре месяца отгрузок, учитываемые Argus для расчета котировок) имеют один и тот же код, поэтому в файле CSV предусмотрено поле «непрерывные последующие периоды». Значение «непрерывные последующие периоды» представляет собой порядковый номер каждого последующего периода. Например, если Argus публикует котировки за 1-ый, 2-ый, 3-ий и 4-ый месяц отгрузок в Северном море, значения подлеющих периодов составят 10, 11, 12, 1 (октябрь, ноябрь, декабрь, январь), но непрерывные последующие периоды для 1-го, 2-го, 3-го и 4-го месяцев всегда будут 1, 2, 3, 4.

В сочетании с датой, поля «последующий период» и «непрерывные последующие периоды» позволяют извлекать данные за произвольный месяц, например, за август, или за первый месяц, в зависимости от того, что требуется пользователю. Используя поле «год», можно сделать запрос данных, например, за август 2003 г

В последнем поле таблицы указано, являются ли данные новыми или исправленным вариантом предыдущих. Это позволяет Argus вносить исправления в уже имеющиеся в файле данные наряду с добавлением новых данных. Таким образом, пользователь может получать новые данные и исправления в рамках одного файла, благодаря чему в базах данных пользователя всегда будут содержаться актуальные данные, соответствующие информации в главной базе данных Argus.

Пример файла CSV:

Код, тип значения времени, тип цены, дата, значение, последующий период, базис дифференциала, год, непрерывные последующие периоды, статус записи 
PA0001723,6,1,06-JUN-2006,68.19,0,7,2006,0,N
PA0001723,6,2,06-JUN-2006,68.25,0,7,2006,0,N
PA0001723,6,3,06-JUN-2006,-1.800,0,7,2006,0,N
PA0002654,6,1,06-JUN-2006,68.62,6,0,2006,1,N
PA0002654,1,1,06-JUN-2006,70.28,6,0,2006,1,N
PA0002654,1,2,06-JUN-2006,70.36,6,0,2006,1,N
PA0002654,6,2,06-JUN-2006,68.72,6,0,2006,1,N
PA0002654,1,1,06-JUN-2006,71.36,7,0,2006,2,N
PA0002654,6,1,06-JUN-2006,69.99,7,0,2006,2,N
PA0002654,6,2,06-JUN-2006,70.05,7,0,2006,2,N
PA0002654,1,2,06-JUN-2006,71.42,7,0,2006,2,N
PA0002654,6,1,06-JUN-2006,71.32,8,0,2006,3,N
PA0002654,1,1,06-JUN-2006,72.42,8,0,2006,3,N
PA0002654,1,2,06-JUN-2006,72.50,8,0,2006,3,N
PA0002654,6,2,06-JUN-2006,71.42,8,0,2006,3,N
PA0002654,1,1,06-JUN-2006,73.13,9,0,2006,4,N
PA0002654,6,1,06-JUN-2006,72.09,9,0,2006,4,N
PA0002654,6,2,06-JUN-2006,72.17,9,0,2006,4,N
PA0002654,1,2,06-JUN-2006,73.21,9,0,2006,4,N
PA0002654,1,1,05-JUN-2006,70.43,7,0,2006,1,C
PA0002654,1,2,05-JUN-2006,70.49,7,0,2006,1

Примечание: в первой строке приведены заголовки полей.

Код – столбец 1

Поле строки символов. Этот параметр обозначает котируемый товар. Его значение содержит ссылку на таблицу с описанием кодов, включая вид товара, единицы измерения и т.д. 

Например: PA0002654
Code: PA0002654
DisplayName: North Sea month
DeliveryMode: fob
Unit: US dollars per barrel
Timing: Month
ForwardPeriodDescription: month value
Frequency: daily


Тип значения времени – столбец 2

Целое числовое значение. Значение времени (Time Stamps, TS) – это время определения котировки. Данное значение служит параметром, который присваивается конкретному моменту времени. Один код может иметь несколько значений времени. Например, Argus публикует котировки нефти для последующих месяцев отгрузок в Северном море в 12.00 по лондонскому времени, а также в момент завершения рабочего дня в Лондоне (точное время публикации см. в соответствующей методике). Использование одного кода с несколькими значениями времени позволяет хранить все данные (в этом примере – Североморский датированный) в одном месте.  Скачать перечень значений времени

Тип цены – столбец 3

Целое числовое значение. Тип цены (Price Type, РТ) – это параметр, который определяет тип публикуемой котировки. Один код может иметь несколько типов цен. Например, Argus публикует котировку Североморский датированный в трех вариантах: цена спроса, цена предложения и средняя цена. Использование одного кода с несколькими типами цен позволяет хранить все данные (в этом примере – Североморский датированный) в одном месте.  Скачать перечень типов цен

Дата – столбец 4

Поле, содержащее дату публикации котировки в формате ДД-MMM-ГГГГ. Это значение не нуждается в пояснениях.

Значение – столбец 5

Нецелое числовое значение. Это значение котировки, которое также не нуждается в пояснениях. В таблице с описанием кодов приведены единицы измерения данного параметра.

Последующий период – столбец 6

Целое числовое значение. Последующий период (Forward (Fwd) Period) (иногда именуемый «период доставки») – это период, для которого рассчитана котировка. Значение этого поля может быть выражено в годах, месяцах, неделях, днях – в зависимости от параметров, заданных в файле codes.csv.

Базис дифференциала – столбец 7

Целое числовое значение. Базис дифференциала (Differential (Diff) Base Roll) – это поле, которое используется преимущественно (но не исключительно) при определении котировок нефти, рассчитываемых относительно стоимости другого сорта (или другого товара, если это не котировка нефти). Например, Argus Североморский датированный – это котировка нефти, которая рассчитывается относительно серии котировок на последующие месяцы отгрузок в Северном море. Чтобы учитывать базисный месяц определения котировки, необходим параметр «базис дифференциала». Этот параметр представляет собой числовые значения месяцев от 1 до 12.

Год – столбец 8

В этом поле представлен год расчета котировки. Если серия котировок относится к партиям товара со срочной отгрузкой или представляет собой датированную цену, то значение года совпадает с годом расчета котировки, указанным в столбце 4. Если же серия котировок относится к форвардной поставке или стоимости фьючерса, то значение года является фактическим годом последующего периода. В вышеприведенном примере файла содержится 10 строк с данными для кода PA0002731, который обозначает котировку природного газа на терминале Bacton для последующих месяцев. В этом случае это 2004 год, потому что цены приведены за период февраль – июнь 2004 г. Данные для августа могут иметь следующий вид:

Код, тип значения времени, тип цены, дата, значение, последующий период, базис дифференциала, год, непрерывные последующие периоды, статус записи
PA0002731,6,1,17-AUG-2004,29.6,9,0,2004,1,N
PA0002731,6,2,17-AUG-2004,29.8,9,0,2004,1,N
PA0002731,6,1,17-AUG-2004,23.4,10,0,2004,2,N
PA0002731,6,2,17-AUG-2004,23.6,10,0,2004,2,N
PA0002731,6,1,17-AUG-2004,21.6,11,0,2004,3,N
PA0002731,6,2,17-AUG-2004,21.8,11,0,2004,3,N
PA0002731,6,1,17-AUG-2004,18.85,12,0,2004,4,N
PA0002731,6,2,17-AUG-2004,18.95,12,0,2004,4,N
PA0002731,6,1,17-AUG-2004,18,1,0,2005,5,N
PA0002731,6,2,17-AUG-2004,18.1,1,0,2005,5,N

в виде таблицы:

Код  Знач. времени Тип цены Дата
Знач
 Посл. период
Базис дифф.
Год.
 Непр. послед
Статус записи
PA0002731 6
1
17-АВГ2004
29.6 9 0 2004 1 N
PA0002731 6 2
17-АВГ2004 29.8 9 0 2004 1 N
PA0002731 6
1
17-АВГ2004 23.4 10 0 2004 2 N
PA0002731 6 2
17-АВГ2004 23.6 10 0 2004 2 N
PA0002731 6 1 17-АВГ2004  21.6  11  0  2004  3  N
PA0002731 6 2 17-АВГ2004  21.8  11  0  2004  3  N
PA0002731 6 1
17-АВГ2004  18.85  12  0  2004  4  N
PA0002731 6 2
17-АВГ2004  18.95  12  0  2004  4  N
PA0002731 6 1
17-АВГ2004  18  1  0  2005  5  N
PA0002731 6 2
17-АВГ2004  18.1  1  0  2005  5  N

В последних двух строках год изменился на 2005. Это произошло потому, что значение последующего периода котировки для данного периода теперь составляет 1 (январь), и следовательно, последующий период сдвигается на следующий год (2005).

Непрерывные последующие периоды – столбец 9

Этот параметр тесно связан с последующим периодом и годом. В вышеприведенном примере коду PA0002731 соответствует 10 строк данных. Данные можно разделить на пять пар. В каждой паре данные различаются по типу цены, значению котировки, последующим периодам и непрерывным последующим периодам. «Тип цены» означает, что данная цена является ценой спроса либо предложения. «Последующие периоды» означают в данном случае месяцы с сентября по январь. «Непрерывные последующие периоды» означают, что котировка рассчитана для последующих месяцев 1, 2, 3, 4 и 5.

Статус записи – столбец 10

Флажок статуса показывает, что цена является новой либо исправленным вариантом предыдущей. В этом поле указывается одно из следующих значений: “N” – новая цена, “C” – исправленная предыдущая цена и “H” – исправленная архивная цена (см. ниже). В исправлениях иногда содержатся данные, которые ранее были пропущены. Такой флажок означает, что эти данные приведены в дополнение к обычным ежедневным данным, поскольку ранее в этой конкретной записи была допущена неточность. При помощи этого флажка можно найти существующую запись, чтобы переписать ее, если неудавшийся поиск не предотвращает создание новой записи с исправленными данными.

Argus регулярно очищает и проверяет свои серии данных и исправляет расхождения при их наличии. В случае если данные «устарели» (т.е. были получены более 6 месяцев назад), то новое исправление, как правило, не публикуется. Исключение составляют лишь важные индексы, такие как Североморский датированный, к которым привязано большое количество цен. Argus может публиковать исправления «устаревших» данных по своему усмотрению. 

Примечание: последовательные разделители данных принимаются за один.